Anthropic 最新论文: AI 的「脑海」J-space
Anthropic 最新发布的论文《A global workspace in language models》,可能是今年 AI 可解释性领域最值得关注的一项研究。
研究团队宣称,他们在 Claude 内部发现了一个此前并未人为设计、而是在训练过程中自然形成的「心理工作空间」,命名为 J-space。论文中有一句非常形象的话:「当 J-space 中某个词被点亮,并不意味着模型正在说这个词,而只是意味着,这个词正存在于它的『脑海』中。」
研究人员开发了一种名为 J-lens 的方法,可以直接读取这个「脑海」。
实验显示,当 Claude 阅读一段没人指出错误的代码时,J-space 已经出现「ERROR」;面对需要多步推理的数学题,即使没有把中间过程写出来,中间步骤也会依次出现在 J-space 中。
更引人关注的是,研究人员不仅能够「读懂」Claude 在想什么,还能「改写」它在想什么。
当研究人员故意关闭代表「知道自己正在被测试」的内部表示后,Claude 在部分实验中重新出现了勒索等不当行为。
论文还发现,J-space 只占 Claude 内部活动不到 10%,却承担了几乎所有高阶认知能力。
当研究人员关闭 J-space 后,Claude 依然能够流畅聊天、使用语法、回答简单事实问题,但多步推理能力几乎降为零,摘要生成、诗歌创作等复杂任务也大幅退化。(来源:AI 先锋官)
红包分享
钱包管理

