2024年Compuforum：AI伺服器串聯供應鏈商機

https://seminar.trendforce.com/Compuforum/2024/TW/index/

在今年的Compuforum中，AMD與NVIDIA的競爭格局更加明顯，特別是在AI伺服器硬體性能的比較上，AMD的MI300與NVIDIA的H100展示了各自的強項。

查看性能比較:https://www.servethehome.com/wp-content/uploads/2023/12/AMD-Instinct-MI300X-vs-NVIDIA-H100-Performance-Summary.jpg

為何Edge AI規模化如此困難？

Edge AI的實施雖具革命性潛力，但其規模化面臨多重挑戰：

• 硬體規格選擇：選擇適合的硬體配置對於不同的應用場景至關重要。
• 運算資源分配：需要精確的計算資源管理以確保AI模型的效率。
• AI工具部署：工具和框架的選擇直接影響部署效率。
• 數據來源多樣性：處理來自各方的數據，保證其一致性和可用性。
• 終端設備維運：大規模的終端設備管理需要高效的維護策略。

領域應用的突破與創新

AI的應用正在迅速拓展至多個領域：

• 智慧交通：從傳統的交通流量監控到使用AI實時生成交通事件的描述，並對事件進行處置。
• 醫療影像：AI在醫療影像領域的應用預計將在2024至2026年達到爆發性增長，但開發周期長，需要符合FDA的嚴格標準。
• 農業：AI技術能夠預測果樹的成熟度，並對收成進行準確的預報給下游產業。

資料儲存結構與AI算力需求

隨著AI應用的增加，資料中心的I/O讀寫比例發生了根本性變化。傳統比例為4:1，而在AI應用中這一比例可達到5000:1。這對記憶體與儲存技術提出了更高的要求，比如從DDR4過渡到DDR5和CXL技術，以及對高帶寬記憶體的需求不斷增加。

2024年AI服務器市場展望

預計2024年AI服務器年增長率將達到40%，顯示出AI核心技術和應用的快速發展。主要AI服務包括搜索引擎建議系統、企業客戶支持服務、文件協作工具等。隨著各大公司如AWS和Google加大對ASIC AI晶片的投資，我們預見到一場關於GPU和ASIC的市場競爭。