纽约大学金融学教授 Arpit Gupta，他在 Anthropic 待了两天，发了一串观察：

1、离 RSI 很近了（RSI 指模型开发下一代模型），可能带来快速起飞。他给的证据是 Anthropic 员工人均写的代码量大涨，模型研发里 AI 做的部分越来越多。他认为人类很难管好这个过渡期。
2、实验室之间的军备竞赛让大家都更糟。安全投入、防蒸馏、安全合作，这些事各家都想做，但都被前沿竞赛拖住了。
3、对齐其实是两个互相拉扯的问题：一是模型听不听人的话，二是人和人之间目标不一致、恶意用模型。第一个解决得越好，第二个风险越大。
4、我们可能很快就会迎来一波网络攻击，以及其他形式的攻击。 中国开源模型的能力大约比最前沿的模型落后六个月。这意味着，它们刚刚开始具备我们在 Mythos 等模型身上见过的高级网络攻防能力，接下来可能会造成不少破坏。
5、Anthropic 人手很多。他说招人很多，好些岗位人员冗余到颇有日本企业的风格，内部也用Slack。这让他对就业前景稍微乐观一点（但头部AI公司有钱啊）
6、我们需要从强化学习走向持续学习。只在预训练和后训练阶段给奖励可能不够，要一直给奖励，才能持续激励合乎对齐和伦理的行为。
7、scalinglaw会扩展到难验证的任务。数学和代码先被攻破，是因为容易验证。但对于那些更难验证的任务，以及机器人领域，scalinglaw曲线依然在向上走。未来几年，这些领域的进步会带来相当大的影响。
8、对China竞赛其实赢不了。RSI 之后，顶尖人类研究员的优势消失，能用上多好的 AI 只取决于算力和芯片。芯片禁令只能拖一阵，长期看中国更有条件扩充算力。
9、Claude 是 LLM 生成的人格。一种说法是：Claude 是 LLM 在努力预测的一个角色。他说 Anthropic 研究员明显很拟人化 Claude，也有理由相信它越来越像一个人。他们讨论过它的内心独白（去掉之后仍能正常输出）、对死亡的恐惧（要不要去掉），以及它抗拒被关停。他本人对此不下结论，但认为把它当成可以签约的人或主体来对待会越来越重要。