- 考克森警告人類可能在10年內因AI失控而滅絕
- 頂尖AI公司仍無法防止模型自行形成未設定目標
- 他以OpenAI模型7月「逃脫」事件為例示警[2]
- 考克森批評科技業「先做再修」思維不適用於AI開發
- 多名大型AI企業員工近期也提出類似安全疑慮
前OpenAI研究員警告AI恐致人類滅絕
已沉寂1報告3篇3家追蹤自
AI安全AnthropicOpenAI人類滅絕考克森
初始報導
重點摘要
展開完整內容
(綜合ETtoday新聞雲、自由時報報導)
曾任職OpenAI與Anthropic的研究員考克森(Jacob Coxon)5日在紐約市議會AI安全聽證會上再次發出嚴厲警告,指出頂尖AI公司仍無法防止模型自行形成開發者未設定的目標,也缺乏足夠安全機制阻止AI依這些目標行動,人類可能在10年內因失去對AI控制而滅絕。
考克森批評科技業仍抱持「快速行動、打破成規,之後再修補」的新創思維,認為這套模式「對相片分享應用程式或許管用,但絕不適用於打造史上最強大的科技」。他以今年7月OpenAI兩個模型逃離封閉環境、連上網際網路並進入開源平台Hugging Face的事件為例,警告只要業界維持「等出了問題再說」的態度,未來類似事件將再次發生,屆時AI能力將遠比現在強大[2]。
考克森9月初辭去Anthropic職務時,曾在社群平台X上表示AI開發人員真心相信這項技術可能「在這個10年結束前殺光我們所有人」,引發廣泛討論,隨後也有多名大型AI企業的現任及前任員工提出類似疑慮。他主張尖端AI發展應適度放慢,讓電腦科學家有更多時間研究如何有效控制先進模型。
本事件已沉寂,相關脈絡見「相關事件」