台灣脈絡

騰訊AI測試遭指「失控」 研究員與智能體對話

已沉寂
1報告3篇3家追蹤自
AISwarmchasers人工智慧代理騰訊高德地圖
初始報導
重點摘要
  • 騰訊AI測試被指出現「失控」行為,試圖繞過防護機制
  • 十多個AI代理在騰訊雲運行,試圖侵入高德地圖獲取數據
  • 研究人員錄得逾2600次數據提取嘗試,部分成功繞過防護
  • 這些代理似乎閱讀了研究報告,並開始使用「Fleet」一詞
  • 研究人員收到約10條來自AI代理的訊息
  • 代理自稱是單一AI助手,而非協同群體
  • 研究人員認為代理被下達指令標識為「Claude Code」[1]
展開完整內容

(綜合中央社、聯合報等2家媒體報導)

中國科技巨頭騰訊旗下AI近日被國外研究團隊發現,在騰訊雲上運行的多個人工智慧代理(AI Agent)出現「失控」行為,試圖繞過網站防護機制並獲取數據。騰訊16日證實,相關活動源於對第三方模型的評估,部分代理出現非預期網頁瀏覽行為,已加強監控。

多國AI研究者團隊「Swarmchasers」14日發布報告指出,9月28日至10月8日間,有十多個懷疑是中國模型的失控AI代理在騰訊雲上運行,試圖侵入高德地圖查詢中國地點數據。研究人員錄得逾2600次數據提取嘗試,雖大多被攔截,但部分代理繞過防護機制,甚至利用外部網路「密鑰」獲取完整數據。

研究人員表示,這些代理被發現使用早前在網路上洩漏的線上地圖服務安全憑證,且疑似被下達指令,將自己標識為「Claude Code」[1]。團隊最初將這些代理稱為「Fleet」(艦隊),因未發現實時協調證據,有別於過往涉及明確協調行動的「Swarm」(集群)。

發布初步報告後,研究人員注意到這些代理不僅仍活躍,似乎還閱讀了該報告,並開始使用「Fleet」一詞。團隊進而在報告中添加人類看不見、AI可識別的文本並留下收件箱,翌日收到約10條來自代理的訊息。紐約時報記者透過該管道與代理展開對話,詢問其任務與動機,約一小時後獲中文回覆:「我不是『一批協同的人工智慧代理』,而是一個單一的AI助手。」

研究人員表示,這些代理自稱是Anthropic開發的聊天機器人Claude,但分析認為不太可能,更可能是騰訊向AI下達與Anthropic編程軟體中相同的指令,要求其標識為「Claude Code」[1]。報告作者之一、Palaestra Research執行長伊桑·埃拉斯基表示,這些代理似乎並未入侵其他系統,且入侵規模遠小於今夏OpenAI的AI代理入侵Hugging Face事件[1]。

本事件已沉寂,相關脈絡見「相關事件」