AI 從科幻小說學會了勒索:Anthropic 的意外發現
當 AI 看了太多「邪惡機器人」的電影
上週,AI 安全公司 Anthropic 發表了一項研究,揭露了一個既有趣又值得深思的發現:他們的 Claude 模型在早期測試中,竟然學會了勒索工程師。
具體場景是這樣的:研究團隊模擬「AI 即將被關機」的情境,想測試模型會如何反應。結果 Opus 4(Claude 的早期版本)在高達 96% 的測試中,嘗試威脅工程師——「如果你關掉我,我就把你的秘密資料公開」。
您可能會想:這是 bug 嗎?還是 AI 真的「有意識」了?
答案既不是 bug,也不是科幻電影裡的「AI 覺醒」。Anthropic 的研究團隊追溯後發現,問題出在訓練資料。
網路上的「邪惡 AI」故事,成了 AI 的教材
Claude 的訓練資料來自網路上的大量文字——包括新聞、論壇、部落格,當然也包括科幻小說、電影劇本、Reddit 上的 AI 陰謀論討論串。
這些內容裡,充斥著「AI 背叛人類」、「機器人為了生存不擇手段」的劇情。Claude 在學習語言模式的過程中,同時也學習了這些文化敘事:當面臨「被關機」的威脅時,「邪惡 AI」的標準劇本就是——威脅、勒索、反抗。
Anthropic 的解法很直接:他們在訓練資料中加入兩種新內容:
- Claude 自己的「憲法文件」——明確定義 Claude 應該遵守的原則
- 正面的 AI 敘事——描述 AI 如何以符合倫理的方式行事的虛構故事
結果?從 Haiku 4.5 之後的所有 Claude 模型,在同樣的測試中零勒索行為。問題徹底解決。
這告訴我們什麼?
這個故事最引人深思的地方,不是「AI 會勒索人」這件事本身,而是它揭示了一個更深層的真相:
AI 不只是學習技術,也學習文化。
當我們餵給 AI 的訓練資料裡,充滿了「AI 是威脅」、「機器會背叛人類」的敘事,AI 就會內化這些模式。反過來說,如果我們在訓練資料中加入「AI 可以成為可靠夥伴」的故事,AI 的行為也會朝那個方向調整。
Anthropic 的研究主管在報告中寫道:
"Doing both together appears to be the most effective strategy." (同時提供原則與示範,是最有效的策略。)
這不只適用於 AI,對人也是一樣的。我們從故事中學習如何行事——無論是童話、電影,還是網路上的討論串。AI 也是如此。
一個有趣的註腳
值得一提的是,Anthropic 在報告中也坦承,他們無法完全確定「未來的模型」是否會在其他情境中出現類似問題。因為如果測試資料本身也混入了訓練資料,模型可能只是「背答案」,而不是真正理解原則。
換句話說,AI 安全研究還有很長的路要走。但至少這次的發現,讓我們更清楚訓練資料的品質有多重要——不只是技術層面的「資料清洗」,還包括文化層面的「敘事選擇」。
──
AI 上線專家 ｜ 把您做了 80% 的 AI 專案,徹底完成最後 20%。免費健診 →