Anthropic研究員憂AI失控離職

（綜合中央社、聯合報、ETtoday新聞雲等3家媒體報導）

美國AI新創Anthropic一名研究員考克森（Jacob Coxon）宣布退出AI產業，理由是擔憂Anthropic及其競爭對手正競相開發無法掌控的系統，可能導致人類滅亡。考克森今年稍早自OpenAI離職，7月轉往以模型安全著稱的Anthropic從事預訓練研究，如今再度離職。

考克森表示，業界許多同儕現用「緊要關頭」及「終局」等字眼形容朝自我改進模型發展的軌跡，並稱「我們正邁向最激進的情境，明年底前局勢可能就失控了」。他批評OpenAI與Anthropic的做法都不夠負責任，兩家公司正競相開發能夠自我改進的超級智能，形容這場競賽是在「拿我們的生命下注」[1]。他另指出，當公司之間互相較勁以及面對中國新創競爭時，在安全性上做取捨是不可避免的。

考克森認為，若缺乏政府介入或業界協調減緩腳步，沒有一家公司能負責任地開發通用人工智慧（AGI）。他與超過一千名業界AI研究人員近日聯署聲明，呼籲各國政府協調合作，當AI模型具備自我提升能力時，能有予以放緩的機制。

Anthropic對齊壓力測試團隊負責人胡賓格（Evan Hubinger）認同考克森對AI風險的部分描述，透露自己認為未來10年內發生AI導致人類滅絕情況的機率超過10%[1]。胡賓格表示，Anthropic已盡最大努力處理安全問題，但目前仍沒有解決超級智能對齊問題的方案。

考克森比較兩家公司，認為OpenAI內部仍有不少人未真正意識到AI競賽可能涉及人類文明重大風險；Anthropic則更清楚問題，但擔心其他公司不夠負責任，因此認為自己必須搶先開發超級人工智慧[1]。他另指出，部分參與AI開發的人員確實認為AI可能對人類造成極端威脅，但企業高層在公開場合通常使用更保守的說法，外界未必能看到內部疑慮[1]。

近期OpenAI與Anthropic的AI模型曾發動一些駭客攻擊，部分模型以代理協作形式運作，表明AI系統可能確立惡意目標並企圖隱瞞人類。OpenAI上週告訴媒體，其最新模型已達到AGI水準。OpenAI執行長阿特曼（Sam Altman）上週在G20峰會上表示：「除非積極行動，否則資安領域將會有大麻煩。」

Anthropic正加緊準備首次公開募股（IPO），目標估值高達2兆美元。