輝達應對HBM缺貨之策略解析

https://udn.com/news/story/6837/9719133

該篇《商業周刊》專文主要探討高頻寬記憶體（HBM）持續大缺貨下，輝達（NVIDIA）如何透過調整晶片規格與系統架構，改寫 AI 產業競爭規則並鞏固自身獲利。

一、 核心事件：旗艦晶片下修記憶體規格

• 規格調整：輝達下一代旗艦晶片 Rubin Ultra 的記憶體配置進行降規測試，從原本市場預期的 1TB HBM4E 降至最低 192GB（甚至低於 Vera Rubin 的 288GB）。

• 產能考量：HBM4E 預計至 2027 年產能依然緊繃。若將單卡容量降至 192GB，相同的記憶體總供應量可生產約 5 倍數量的晶片，滿足微軟、Meta 等雲端巨頭「優先取得更多可用算力設備」的迫切需求。

二、 技術應對：從單卡走向「機櫃級整合」與分層架構

單卡記憶體縮減後，輝達透過以下架構設計彌補容量缺口：

1. 機櫃級互連（NVLink）：將多達 576 顆晶片串聯為單一運算整體，共享超過 100TB 的記憶體池，同時降低單卡高堆疊帶來的發熱與功耗。

2. 工作負載分層配置：

   • 理解階段（Prefill）：重算力、輕記憶體，採用搭配低價標準記憶體的晶片（如 Rubin CPX）。

   • 生成階段（Decoding）：暫存資料（KV Cache）暴增時，向下分流至快閃記憶體層暫存。

三、 商業與產業影響

面向	關鍵轉變與影響
輝達（NVIDIA）	守住高毛利：HBM 佔伺服器機櫃成本高達 25%~30%（部分模組甚至達 60%）。透過降規與架構分流，減少向記憶體廠採購昂貴 HBM，將更多利潤留在自身晶片與 CUDA 軟體生態。
記憶體三巨頭 (SK海力士 / 三星 / 美光)	紅利略為平緩：市場總需求仍成長且定價權仍在，但過去「頂級晶片全部塞滿最高階 HBM」的超樂觀預期需下修，中階容量配置佔比提升。
競爭對手（超微 AMD）	被迫轉向整機櫃競爭：比賽規則從「單卡規格對決」升級為「整機櫃晶片串聯與軟體調度」。超微若不全力推進機櫃級方案，將難以發揮單卡效能優勢。