AMD Instinct MI300X加速器於Oracle Cloud Infrastructure釋出 為執行要求嚴苛的AI應用提供強大效能
Fireworks AI等客戶使用全新OCI運算執行個體執行AI推論與訓練工作負載
OCI Supercluster在雲端服務供應商中處於領先地位,在單一超高速網路架構中支援多達16,384個AMD Instinct MI300X GPU
AMD(NASDAQ: AMD)宣布Oracle Cloud Infrastructure (OCI)採用AMD Instinct™ MI300X加速器與ROCm™開放軟體,為最新的OCI Compute Supercluster執行個體(instance)BM.GPU.MI300X.8提供動能。對於含有數千億參數的AI模型來說,搭載AMD MI300X的OCI Supercluster憑藉與其他OCI加速器相同的超高速網路架構(ultrafast network fabric)技術,可在單一叢集中支援高達16,384個GPU。這些OCI的裸機執行個體(bare metal instance)設計旨在執行各種要求嚴苛的AI工作負載,包括需要高吞吐量的大型語言模型(LLM)推論與訓練,且具備領先業界的記憶體容量與頻寬,現已被Fireworks AI等企業所採用。
AMD全球副總裁暨資料中心GPU事業群總經理Andrew Dieckmann表示,AMD Instinct MI300X 與ROCm開放軟體的發展動能持續成長,成為深受客戶信賴的解決方案,以執行最關鍵的OCI AI工作負載。隨著這些解決方案進一步擴展至持續成長的AI密集型市場中,此組合將為OCI客戶帶來高效能、高效率以及絕佳的系統設計彈性。
Oracle Cloud Infrastructure軟體開發資深副總裁Donald Lu表示,AMD Instinct MI300X加速器的推論能力增加了OCI廣泛的高效能裸機執行個體選擇,以消除AI基礎架構常用的虛擬化運算所帶來的開銷。我們很高興為客戶提供更多選擇,以具有競爭力的價格加速AI工作負載。
為AI訓練與推論帶來值得信賴的效能與開放選擇
AMD Instinct MI300X通過OCI認證的嚴密測試,凸顯其滿足延遲最佳化(latency-optimal)使用案例的AI推論與訓練能力,在較大批量(batch size)下,可在單一節點上容納最大的LLM模型。Instinct MI300X具備的這些效能優勢引起了AI模型開發者的關注。
Fireworks AI提供一個高速的平台,以建構與部署生成式AI。擁有超過100個模型的Fireworks AI正在發揮OCI中AMD Instinct MI300X所帶來的效能優勢。
Fireworks AI執行長Lin Qiao表示,Fireworks AI協助企業在廣泛的產業和使用案例中建構與部署複合式AI系統。AMD Instinct MI300X與ROCm開放軟體提供的記憶體容量,讓我們能為客戶擴展服務以因應持續成長的模型。
相關資源
· LinkedIn:於AMD LinkedIn追蹤AMD新訊
· X:於@AMD追蹤AMD新訊
關於AMD
50多年來,AMD(NASDAQ:AMD)推動創新高效能運算、繪圖及視覺技術,建構遊戲、高臨場感平台與資料中心等重要領域。AMD員工致力於研發領先的高效能與自行調適產品,不斷突破技術的極限。全球數十億的消費者、世界500強企業以及尖端科學研究機構皆仰賴AMD的技術來改善生活、工作及娛樂。欲瞭解AMD如何成就今天,啟發未來,請瀏覽AMD網站、部落格、LinkedIn及X。
AMD、AMD箭頭、AMD Instinct、ROCm及上述名稱的組合為AMD公司的商標。其他產品名稱只為提供資訊為目的,也可能是各自所有者的商標。
Oracle、Java、MySQL及NetSuite是Oracle公司的商標。NetSuite是第一家雲端公司,引領了雲端運算的新世代。