OCP2025 APAC Summit 技術與產業總觀察

摘要

在 OCP2025 APAC Summit，來自 Meta、Broadcom、Astera Labs、TSMC、ASE、UALink Consortium、Digitimes 等頂尖廠商的代表，針對 AI 時代資料中心與高效運算的架構轉型、開放標準、互連技術、先進封裝及光電整合等主題進行深入分享與討論。會議揭示了 AI 模型規模與運算需求的爆炸式成長，正推動資料中心從 伺服器級別 演進到 機架級別（Rack-Scale） 設計。

未來，高頻寬低延遲互連（PCIe Gen6、CXL3、UALink、UEC）、光電整合（CPO、COUPE、CoWoS）與開放式標準將成為支撐 AI 與 HPC 發展的三大支柱，同時也將重新塑造供應鏈與產業合作模式。

內容

1. AI 運算架構的雙引擎：Scale-up 與 Scale-out

• Meta 分析了跨地區、跨資料中心的 AI 模型訓練需求，指出大型語言模型（LLM）與多步推理需要更低延遲與更高頻寬的節點間通訊。

• Broadcom 以「Compute–Memory–Networking 三角平衡」為切入，說明運算單元的擴展不能僅依靠單一架構：

  • Scale-up：多顆 GPU/加速器共享統一記憶體空間，減少數據複製成本與延遲，適合需要緊密耦合的模型訓練與即時推論。

  • Scale-out：多節點間透過高速網路協同運算，適合大規模分布式訓練與批量推論。

• Panel 共識：未來資料中心將混合部署兩者，根據工作負載動態切換與資源分配。

2. 打破專有生態的關鍵：開放標準與互通性

• UALink Consortium 推出的開放式加速器互連標準，設計目標是取代或補充 NVLink 等封閉協議，支援不同供應商 GPU、ASIC、AI 加速器間的直接互通。

• Ultra Ethernet Consortium (UEC) 則專注於以乙太網為基礎的 Scale-out 網路，與 UALink 在不同層次互補。

• 技術要點：

  • 開放標準降低廠商鎖定風險，促進競爭與創新。

  • 標準制定需兼顧高效能與軟體生態支援（MPI、深度學習框架）。

  • 跨聯盟協作（UALink + UEC）有望形成完整的 HPC/AI 互連解決方案。

3. 高速互連與記憶體擴展：PCIe Gen6、CXL3 的落地

• Astera Labs 展示了 PCIe Gen6 與 CXL3 在機架級架構中的應用：

  1. PCIe Gen6：提供高達 64 GT/s 的傳輸速率，對稱支援 GPU、FPGA 與各類加速器間的高速直連。

  2. CXL3：支援記憶體池化（Memory Pooling）與動態分配，允許多個運算節點共享高頻寬低延遲記憶體資源。

  3. PCIe Gearbox 技術：解決不同 PCIe 世代之間的互通問題，降低升級成本。

• 實測顯示，CXL 記憶體可降低 AI 推論延遲、提升 GPU 利用率，進而提升 LLM 每瓦效能與 TCO。

4. 先進封裝與光電整合：突破頻寬與功耗瓶頸

• TSMC：

  • CPO（Co-Packaged Optics） 與 COUPE 技術可將光學 I/O 直接整合到交換晶片封裝內，顯著降低 I/O 功耗與延遲。

  • 結合 CoWoS 高頻寬封裝，支援更高密度通道與更優化的散熱設計。

  • 目標應用包括 AI 資料中心交換機與 HPC 節點。

• ASE：

  • 推出模組化先進封裝方案，允許更靈活地組合光電元件與邏輯晶片。

  • 強調封裝設計需與系統架構協同開發，以解決高功耗密度帶來的散熱挑戰。

5. AI 供應鏈的重構：模組化與垂直整合並行

• Digitimes 報告顯示，AI 基礎設施供應鏈正快速從傳統線性分工轉向模組化與垂直整合混合模式：

  • 模組化：系統商偏好採用可升級的模組平台，降低技術更新的改裝成本。

  • 垂直整合：部分領先廠商將設計、製造、封裝與模組組裝一體化，以壟斷關鍵技術（如高速互連、光電封裝）。

• 核心變化：

  1. 高速互連與記憶體技術成為供應鏈控制點。

  2. 光電整合推動更多跨領域合作（半導體、封裝、網路設備）。

  3. 雲端服務商（CSP）直接參與硬體設計以優化自家 AI 工作負載。

結論

本次 OCP2025 APAC Summit 清楚描繪了 AI 資料中心與高效運算基礎設施的四大未來方向：

1. 機架級架構主導運算設計：取代傳統伺服器中心模式，透過混合 Scale-up/Scale-out 提升效率。

2. 開放標準成為互通性核心：UALink 與 UEC 有望重塑 HPC 與 AI 互連生態。

3. 高速互連與記憶體技術同步演進：PCIe Gen6、CXL3 與 Gearbox 技術將改變加速器資源調度模式。

4. 先進封裝與光電整合落地：CPO、COUPE、CoWoS 將同時解決頻寬與功耗瓶頸，成為新一代交換與運算平台的基石。

   
   
   
   

未來 12–24 個月觀察重點：

• UALink/UEC 互通測試與產業採用進度。

• PCIe Gen6/CXL3 在商業資料中心的部署案例。

• CPO 與光電模組的量產時間節點。

• AI 供應鏈在模組化平台與先進封裝上的新合作模式。

各公司關鍵發表摘要表格

公司 / 組織	技術領域	核心觀點	潛在影響
Meta	分布式 AI 網路架構	AI 模型日益大型化，需要更低延遲與更高頻寬的跨節點通訊；強調 Scale-out 與地理分布式協作。	推動跨資料中心網路優化，增加對高速乙太網與開放互連標準的需求。
Broadcom	運算–記憶體–網路平衡	提出 Compute–Memory–Networking 三角平衡，混合 Scale-up 與 Scale-out 以應對多樣化 AI 工作負載。	影響 AI 資料中心架構設計策略，帶動網路晶片與交換機升級。
UALink Consortium	開放加速器互連	制定開放標準取代或補充 NVLink，支援跨供應商 GPU/ASIC/AI 加速器互通。	有望降低廠商鎖定風險，推動加速器市場競爭與生態多元化。
UEC (Ultra Ethernet Consortium)	Scale-out 標準化網路	以乙太網為基礎的開放網路標準，與 UALink 在不同層面互補。	促進 HPC 與 AI Scale-out 架構互通性，提高大規模部署效率。
Astera Labs	高速互連、記憶體擴展	PCIe Gen6 與 CXL3 實現記憶體池化、低延遲互連，Gearbox 技術降低升級成本。	改變加速器與記憶體資源調度方式，提升 GPU 利用率與 TCO 效益。
TSMC	先進封裝與光電整合	CPO、COUPE 與 CoWoS 結合，高密度通道與低功耗光 I/O；針對 AI Switch 與 HPC 節點。	推動光電整合量產，為資料中心交換機與 HPC 設備帶來新一代設計方案。
ASE	模組化封裝策略	封裝與系統設計協同開發，解決高功耗密度下的散熱與頻寬挑戰。	提升 AI 模組設計靈活度，加速異質整合落地。
Digitimes	產業供應鏈分析	AI 時代供應鏈從線性分工轉向模組化與垂直整合並行模式。	影響供應鏈合作模式與市場主導權，催生更多跨領域結盟。