重看《西部世界》，我发现了AI最危险的那一层
十年前第一次看《西部世界》，大多数人只记住了时间线混乱和大尺度。这次重看，我在第三集停了下来——剧里创始人之一福特，讲了一座关于机器人如何产生意识的金字塔：最底层是记忆，第二层是即兴发挥，第三层是自我利益，顶端才是自我意识。
这座金字塔不是编剧瞎编的。它借自1976年心理学家朱利安·杰恩斯的《双腔心智的崩溃》：他猜想古人类行动正常，却把脑中的指令体验成"神的声音"，后来才逐渐把这些声音认成自己的内心——"我"是慢慢才出现的。智能和意识，未必同时出现。
有意思的是拿这座金字塔去量今天的AI。
记忆层，我们有了长上下文和记忆系统，但AI每次开新会话还得重新拿上下文，谈不上连续的人生经历。即兴发挥层，大模型已经强得吓人：写代码、做研究、自主调工具完成复杂任务。但到自我利益这一层，就卡住了——今天的AI Agent再能干，它追求的目标全来自人类的设定和奖励机制。它能连干一百小时不停，不代表它"想要"什么。
而真正让人后背发凉的是：AI根本不需要爬到顶端，就已经危险了。
AI安全领域有个著名思想实验叫回形针最大化器：给一个超强AI设一个目标——多造回形针。它不需要恨人类，不需要有意识，只要足够聪明、足够忠实于这个错误目标，就可能把整个世界的资源都变成造回形针的原料。灾难发生在金字塔第三层以下，意识的门外。
所以《西部世界》真正的问题从来不是"机器人会不会觉醒反抗"，而是：当一个系统强大到不再只是工具，我们凭什么判断它经历的痛苦是不是真的？如果我们既无法证明它有意识，也无法证明它没有，我们还剩多少支配它的权利？
十年前这是科幻。十年后，通往那个世界的路已经铺到眼前了。
信源：剧中设定与Julian Jaynes《The Origin of Consciousness in the Breakdown of the Bicameral Mind》(1976)；回形针最大化器为Bostrom推广的思想实验。个人观剧感想，仅供参考。