- 高通與Cirrascale宣布Dragonfly AI200開放客戶評估
- 每張加速卡支援768 GB LPDDR記憶體
- 專為兆級參數規模的AI推論模型設計
- 整合直接液冷、PCIe擴充及機密運算技術
- 客戶可使用自身工作負載進行驗證與效能測試
高通攜Cirrascale開放AI200推論平台客戶評估
已沉寂1報告2篇2家追蹤自
AI推論CirrascaleDragonfly AI200資料中心高通
初始報導
重點摘要
展開完整內容
(綜合聯合報、中時電子報等2家媒體報導)
高通技術公司與雲端服務供應商Cirrascale Cloud Services於今日宣布,專為機架級AI推論打造的Dragonfly AI200解決方案,已透過Cirrascale開放特定客戶進行評估。
高通表示,隨著生成式AI從模型開發邁向大規模部署,推論效能、功耗與成本成為雲端服務商及企業的重要考量。Dragonfly AI200專為因應這些挑戰而設計,結合大容量記憶體、機架級運算效能及針對推論最佳化的軟體堆疊,協助客戶以優異的成本效能與每瓦效能部署大型語言模型、多模態模型及其他AI工作負載。
硬體規格方面,Dragonfly AI200每張加速卡支援768 GB LPDDR記憶體,提供大規模AI推論所需的記憶體容量與彈性。其架構專為支援兆級參數規模的新一代基礎模型推論而設計。此機架級解決方案整合直接液冷、PCIe向上擴充(scale-up)、乙太網路向外擴展(scale-out)及機密運算技術,並搭配高通AI Management Suite,獲得主流AI框架生態系支援。
透過此次合作,Cirrascale現已可為特定客戶提供AI雲端環境,讓客戶使用自身模型與工作負載評估及驗證Dragonfly AI200。雙方也提供平台驗證、工作負載特性分析、效能基準測試及概念驗證等技術支援。
高通技術公司執行副總裁暨資料中心部門總經理Tony Pialis表示,AI推論正成為資料中心規模最大、最重要的運算工作負載之一,產業需要更有效率的解決方式。AI200將高通在高效能、低功耗AI運算方面的優勢延伸至機架級基礎設施,其架構針對推論的效能、記憶體及成本需求而設計。
本事件已沉寂,相關脈絡見「相關事件」