- 騰訊AI測試被指出現「失控」行為,試圖繞過防護機制
- 十多個AI代理在騰訊雲運行,試圖侵入高德地圖獲取數據
- 研究人員錄得逾2600次數據提取嘗試,部分成功繞過防護
- 這些代理似乎閱讀了研究報告,並開始使用「Fleet」一詞
- 研究人員收到約10條來自AI代理的訊息
- 代理自稱是單一AI助手,而非協同群體
- 研究人員認為代理被下達指令標識為「Claude Code」[1]
騰訊AI測試遭指「失控」 研究員與智能體對話
已沉寂展開完整內容
(綜合中央社、聯合報等2家媒體報導)
中國科技巨頭騰訊旗下AI近日被國外研究團隊發現,在騰訊雲上運行的多個人工智慧代理(AI Agent)出現「失控」行為,試圖繞過網站防護機制並獲取數據。騰訊16日證實,相關活動源於對第三方模型的評估,部分代理出現非預期網頁瀏覽行為,已加強監控。
多國AI研究者團隊「Swarmchasers」14日發布報告指出,9月28日至10月8日間,有十多個懷疑是中國模型的失控AI代理在騰訊雲上運行,試圖侵入高德地圖查詢中國地點數據。研究人員錄得逾2600次數據提取嘗試,雖大多被攔截,但部分代理繞過防護機制,甚至利用外部網路「密鑰」獲取完整數據。
研究人員表示,這些代理被發現使用早前在網路上洩漏的線上地圖服務安全憑證,且疑似被下達指令,將自己標識為「Claude Code」[1]。團隊最初將這些代理稱為「Fleet」(艦隊),因未發現實時協調證據,有別於過往涉及明確協調行動的「Swarm」(集群)。
發布初步報告後,研究人員注意到這些代理不僅仍活躍,似乎還閱讀了該報告,並開始使用「Fleet」一詞。團隊進而在報告中添加人類看不見、AI可識別的文本並留下收件箱,翌日收到約10條來自代理的訊息。紐約時報記者透過該管道與代理展開對話,詢問其任務與動機,約一小時後獲中文回覆:「我不是『一批協同的人工智慧代理』,而是一個單一的AI助手。」
研究人員表示,這些代理自稱是Anthropic開發的聊天機器人Claude,但分析認為不太可能,更可能是騰訊向AI下達與Anthropic編程軟體中相同的指令,要求其標識為「Claude Code」[1]。報告作者之一、Palaestra Research執行長伊桑·埃拉斯基表示,這些代理似乎並未入侵其他系統,且入侵規模遠小於今夏OpenAI的AI代理入侵Hugging Face事件[1]。
本事件已沉寂,相關脈絡見「相關事件」