台灣脈絡

Google攜Meta、AMD推TPU 8tx 挑戰輝達AI霸權

已沉寂
2報告7篇4家追蹤自
AIAMDGoogleMetaPyTorchTPU輝達
初始報導
重點摘要
  • Google擴展第8代TPU陣容,新增TPU 8tx與TPU 8i Max
  • TPU 8tx為首款硬體級機密運算TPU,搭配AMD EPYC CPU
  • TPU 8i Max整合雙晶片,運算密度與吞吐量達TPU 8i的2倍
  • 聯手Meta打造TorchTPU,開發者改兩行代碼即可從GPU遷移至TPU
  • 發表TPU-Sync開源工具,動態卸載閒置記憶體提升伺服器利用率
  • Google Cloud副總裁羅梅爾稱AI代理時代算力需求暴增10至1000倍
展開完整內容

(綜合中央社、聯合報等2家媒體報導)

Google Cloud於9日宣布擴展第8代TPU陣容,新增兩款專用晶片系統:主打安全機密運算的TPU 8tx,以及專為AI代理(Agent)長脈絡工作負載設計的TPU 8i Max。這是Google首次在同一年內推出4款TPU系統,展現自研晶片迭代速度從過往的「兩年一款」大幅加速至「一年四款」。

TPU 8tx是首款具備硬體級機密運算(Confidential Computing)特性的TPU,採用與TPU 8t相同的矽晶片,並搭配第5代AMD EPYC CPU主機,實現硬體級PCIe鏈路加密與記憶體實體隔離,確保敏感資料與模型權重在處理過程中全程受保護。其運算力達12.6 PFLOPs FP4,配備216 GB HBM,並採用BoardFly互聯架構,通訊延遲較TPU 8t減少一半。

TPU 8i Max則將兩顆低延遲的TPU 8i晶片整合封裝於單一模組,實現雙倍運算能力、雙倍SRAM與雙倍HBM頻寬。搭載384 GB HBM(增加33%)、17.2 TB/s記憶體頻寬(翻倍)與768 MB片上SRAM(翻倍),整體推論算力密度與吞吐量達TPU 8i的2倍,專為維持龐大KV快取的複雜AI代理流程設計。

軟體層面,Google Cloud聯手PyTorch原創者Meta及開源社群,打造原生後端「TorchTPU」平台並正式商用。開發者僅需在既有腳本中加入兩行代碼,即可直接調用Cloud TPU運算資源,保留全部現有模型代碼與工作流程,大幅降低從輝達GPU環境遷移至TPU的重構門檻。

此外,Google Cloud首度發表開源記憶體排程工具「TPU-Sync」,能在AI代理休眠時動態將運算記憶體卸載出晶片,騰出算力給其他推論任務,待指令觸發時秒級回載。該工具向下相容現役TPU v7、v6及v5世代。Google也同步推出Agent Compute Engine軟體,能在幾毫秒內自動暫停閒置的AI代理工作階段,消除算力浪費。

Google Cloud運算與AI基礎架構副總裁羅梅爾(Mark Lohmeyer)分析,生成式AI正從單次問答跨入「智慧代理時代」,單一請求即可觸發成百上千次操作,算力需求暴增10倍至1000倍,且代理在長時間任務中需持續存取龐大檔案,對記憶體頻寬與百萬詞元脈絡處理能力構成嚴峻考驗。

追蹤報導 #2
重點摘要
  • TPU 8i Max導入Google自研Arm架構Axion主機處理器[2]
  • TPU 8tx由第5代AMD EPYC提供主機運算支援[1]
  • 雙方合作打造首款硬體級機密運算雲端TPU系統[1]
展開完整內容

(新增中時電子報、壹蘋新聞網等2家媒體報導)

本次新增報導揭露兩項關鍵硬體合作細節:TPU 8i Max系統導入Google自研Arm架構主機處理器Axion,而TPU 8tx則由第5代AMD EPYC處理器提供主機運算支援。

Arm架構持續擴大在Google AI基礎設施中的角色。Google Cloud將基於Arm Neoverse平台客製化打造的Axion主機處理器,進一步導入TPU 8i Max系統[2]。

AMD方面則正式宣布,第5代EPYC處理器為TPU 8tx提供主機運算支援,雙方結合EPYC效能、Infinity Guard安全功能及Google TPU加速能力,打造首款具備硬體強制執行機密運算的雲端TPU系統[1]。AMD資深副總裁Dan McNamara指出,強大的AI系統需要能匹配加速器需求的CPU基礎;Google Cloud AI副總裁Mark Lohmeyer則表示,透過結合第5代EPYC與第8代TPU架構,首度為雲端TPU導入硬體強制執行的機密運算[1]。AMD強調EPYC已成為超過10家超大規模雲端服務商及AI實驗室的首選主機CPU,支援AMD Instinct GPU、NVIDIA GPU及客製化AI加速器ASIC[1]。

本事件已沉寂,相關脈絡見「相關事件」