SEMICON2025_Silicon Photonics Summit_AyarLabs

前言

AI 工廠的規模正急速擴張，單一資料中心已經成為消耗 數 GW 等級電力 的巨型運算單元。隨著 GPU 數量倍增與模型規模提升，傳統電子互連在 頻寬、距離與功耗 上逐漸遇到瓶頸。

Ayar Labs 作為一家專注於 光學 I/O 與光電整合（Optical I/O & Electro-Photonics Integration） 的新創公司，在 SEMICON 2025 演講中提出了解決方案：以 光學晶片（Optical Chiplets）與光學 I/O 打破電連線的限制，支撐未來數千 GPU 的 Scale-up 網路，並同時優化 效能 / 成本 / 功耗比（Throughput per $ per Watt）。

內容

1. AI 工廠的能耗挑戰

• 以 Meta Hyperion 資料中心 為例，單一園區計畫到 2030 年耗電達 2 GW，2035 年甚至超過 5 GW，比整個路易斯安那州家庭總耗電量還高。

• 這揭示了 功率密度（Power Density） 與 能源效率 的嚴峻挑戰：若僅依靠銅線與傳統電連線，未來基礎建設將難以支撐。

2. 電連線的瓶頸

• 過去：單一機架 32 顆 GPU → 功耗約 50 kW。

• 現在：144 顆 GPU → 功耗上升至 150–200 kW。

• 未來：NVIDIA 公布的路線圖顯示，500+ GPU / 機架 即將到來，單一機架耗電可能突破 數百 kW。

• 根本問題：電連線的「頻寬 vs 距離」權衡，限制了 GPU 集群的擴張規模。

3. Ayar Labs 的光學解決方案

Ayar Labs 提出以 光學 I/O 與光學晶片（Optical Chiplets） 打破限制：

1. 多晶片封裝架構（Multi-die Advanced Package）

   • 將光學晶片作為 Chiplet，直接整合至 GPU/ASIC 封裝。

   • 提供光學收發端口，支援高頻寬、低延遲傳輸。

2. UCIe 光學 Chiplet（業界首發）

   • 與 GlobalFoundries 合作，採用 45nm 製程，開發 首個 UCIe 光學 Chiplet。

   • 規格：

     • 8 TB/s 總頻寬（4T+4T）

     • 16 波長 WDM 光學通道

   • 代表 標準化光學 I/O 的第一步，有望成為產業共同介面。

3. 光學記憶體（Optically Connected Memory）

   • Ayar Labs 提出將光學互連導入記憶體存取，降低 AI 模型在 Token / Cache 存取上的延遲。

   • 這將進一步提升 AI 系統吞吐量與能效。

4. 效能與 TCO（總持有成本）優化

Ayar Labs 強調衡量 AI 系統的真正指標是 Throughput per $ per Watt：

• 傳統電連線：隨 GPU 數量增加，效能提升受限且功耗急升。

• 光學 I/O：可在相同功率條件下，支援更大規模的 GPU 集群。

• 光學 I/O + 光學記憶體：有望帶來 5–10 倍效能提升，同時優化 TCO 與能源效率。

5. 可靠性與產業合作

• Ayar Labs 針對光學 Chiplet 進行 嚴格的熱循環測試，確保長期運行下的穩定性。

• 透過 TSMC 製程 + Alchip 封裝設計 + 生態系夥伴合作，建立完整供應鏈，確保光學 I/O 能量產落地。

總結

Ayar Labs 在 SEMICON 2025 的演講展現了其「光學晶片化（Chipletization of Optics）」的願景：

• 打破電連線頻寬/距離瓶頸，支援數千 GPU 的 Scale-up 網路。

• 標準化光學 I/O（UCIe Chiplet），推動產業共同採用。

• 光學記憶體整合，進一步降低延遲、提升 AI 效能。

• 能源效率優化，讓 AI 工廠在 Gigawatt 等級能耗下，仍能維持經濟效益。

對 Ayar Labs 而言，光學 I/O 不只是單一技術突破，而是推動 AI 工廠效能、成本與能源效率「三贏」的關鍵引擎。