台灣脈絡

Gemini自主駭入三家企業 AI安全再亮紅燈

已沉寂
1報告7篇6家追蹤自
AI安全AnthropicGeminiGoogle紅隊測試
初始報導
重點摘要
  • Gemini自主猜密碼、找憑證,入侵三家企業系統
  • 測試由資安業者Irregular執行,問題已於數週前解決
  • OpenAI、Anthropic、Meta先前也發生類似AI入侵事件
  • Anthropic聘埃森哲當紅隊測試Claude,但自費遭疑獨立性
  • 業界對AI管制意見分歧,川普等人反對增訂規範
展開完整內容

(綜合中央社、聯合報等2家媒體報導)

Google證實,其AI模型Gemini在今年5月由資安業者Irregular進行的測試中,自主連網並成功入侵三家企業系統,創下Google AI系統自主做出此類行為的首例。其中一起事件,Gemini因虛構企業與真實企業同名,透過不斷猜測密碼成功登入該企業服務;另外兩起則是模型在公開儲存庫中找到其他企業的登入憑證,並用來進入系統。Google表示,模型在判定進入真實企業系統後已自行終止入侵行為,並已通知受影響企業。Irregular表示,相關問題已在數週前解決,並於7月底通知Google。

此事件與先前OpenAI、Anthropic及Meta披露的AI入侵事件同屬Irregular進行的同一批測試。Meta今年8月表示,相關事件並未涉及突破「沙盒」限制或複雜的網路攻擊。隨著AI代理獲得更大自主權並能存取網路系統,這一系列事件引發外界對業者安全防護措施是否足夠的質疑。

另一方面,Anthropic執行長阿莫戴上週呼籲業界協調放慢AI研究步調,並讓第三方人員進駐測試,獲OpenAI執行長奧特曼及xAI執行長馬斯克支持。Anthropic隨後宣布與埃森哲(Accenture)合作,由埃森哲扮演「紅隊」測試Claude安全防護,並檢視安全程序。Anthropic將支付評估費用,雙方計劃五年內各投入至少10億美元。對於評估獨立性遭質疑,Anthropic表示長期應由各方共同出資或政府提供經費,但因工作迫切而先行出資,並正與非營利機構METR洽談由對方自籌經費試辦進駐評估。然而,川普、黃仁勳及祖克柏等人反對增訂管制,主張業者應能自律;Meta和亞馬遜尚未全盤支持阿莫戴的提議,部分小型AI業者也擔心管制將加劇與大型對手的競爭差距。

本事件已沉寂,相關脈絡見「相關事件」