生成式人工智慧之運算架構可分為兩個層次，其一為模型訓練，仰賴圖形處理器（GPU）叢集之大規模平行運算與反向傳播，自大量資料中學習模型參數，中央處理器（CPU）則負責資料前處理與叢集排程協調，並非運算主力。其二為模型推理，即訓練完成後之模型執行階段，可選擇GPU或特定應用積體電路（ASIC）作為執行硬體，GPU具備高通用性，適合模型多變、需高度彈性之混合負載；ASIC則功能設計更為聚焦，適合工作負載固定、追求極致能效與成本之場景。兩者並非取代關係，而是雲端服務供應商（CSP）依工作負載特性與規模，在彈性與成本效能間所做之權衡選擇。
一、AI運算角色轉移與異質運算架構之形成
二、算力自主化雙軌路徑
三、互連與記憶體：異質運算效能不可或缺的兩大關鍵
四、臺灣供應鏈的機會與挑戰
五、結論與建議
圖1 異質運算三大支柱與技術瓶頸
圖2 算力自主化下CSP與IC設計商之技術布局
若有任何問題，可使用下方檢索互動介面找解答，或是寫信到客服信箱。
星期一~五 9:00-12:30/13:30-18:00