能够自我构建的人工智能将是一项重大的技术发展,它将为科学、医疗保健以及其他领域的世界带来巨大的好处。但完全的递归自我改进也可能增加人类失去对人工智能系统控制的 risks。如果系统能够完全构建自己的继任者,那么我们保护它们、监控它们和塑造它们行为的方式就变得更加重要。
在早期,Anthropic 的工作与其他科技公司的工作看起来一样:人们用笔记本电脑编写代码和文档。
Chatbots 聊天机器人
人们曾使用早期的聊天机器人来帮助处理部分流程,比如生成简短的代码片段并将输出复制到文本编辑器中。
Coding agents 编码智能体
随着智能体变得越来越强大,它们能够自行编写和编辑代码,有时甚至是整个文件。
Autonomous agents 自主智能体
智能体现在可以自行运行代码,并将数小时的工作委托给其他智能体。
Closing the loop 闭环
未来,AI 智能体可能变得足够强大,能够自主构建和训练模型。如果这一情况成为现实,未来版本的 Claude 将能够由 Claude 自身持续改进。
