鴻海攜輝達造臺灣最大推論算力中心 2026啟用!首期27MW上線

國泰金控技術年會舉行高峰對談,以「臺灣大型語言模型落地實踐挑戰,推動下一波AI產業革新」爲主題,邀請國政治大學金融科技研究中心主任王儷玲、國泰金控數數發中心數據暨人工智慧發展部副總經理劉浩翔、鴻海科技集團亞灣超算股份有限公司執行長姚延宗與會。王鬱倫攝影

鴻海(2317)今年5月宣佈與NVIDIA合作打造亞灣超算股份有限公司(AI算力中心),將購買1萬顆Blackwell Ultra架構GB300 GPU,建立首期27MW電力容量的超級算力,定位爲以推論爲核心的本土算力基地,該中心量產後將成爲臺灣最大的推論算力集羣。

亞灣超算執行長姚延宗20日出席國泰金控技術年會」指出,超算中心目標2026年上半啓用,提供真正本土算力出品的服務,讓企業能更有效率、更彈性地使用運算資源,概念上類似「喝牛奶不一定要在家裡養牛」。

現在許多AI算力中心設計架構適合用於訓練,而鴻海亞灣超算將更專注提供推論應用。他分享,GB300的算力中心設計架構跟GB200全然不同,目的也不同,後者聚焦AI訓練,而GB300聚焦推論,由於推論應用常被期待在幾秒甚至幾毫秒快速反應作答,若GPU機羣距離太遠,可能會因資料傳輸而影響推論效率。

姚延宗指出,GB300算力中心是重資本投資,對硬體環境的要求也高,舉例而言,樓地板的承重要求是每平方公尺兩噸,相對一般辦公大樓每平方公尺500公斤承重標準,其實遠高的多,而這也將使傳統資料中心硬體跟不上GPU機羣建置要求。

三大任務 2026年上半啓動

他解釋,亞灣算力中心有多重任務,首先,臺灣企業或公部門的AI運算資料目前大多通過境外GPU算力完成後再回傳,部署本地GPU集羣能將臺灣企業的專業資料Domain Data和敏感資料留在本地。

其次,未來的AI Agent應用(例如推論 Inference)要求在幾秒或幾毫秒內迴應,若GPU集羣距離太遠,將影響推論效率,一些企業的研發專案或POC驗證,若需反覆修改,在地算力能更即時有效率,加快企業修改。

第三點,他透露目前也會跟國際大型AI模型商洽談合作,期望大型LLM落地亞灣超算,與其從無到有訓練臺灣自有LLM,現階段更有效率方式是跟國際LLM合作,引進臺灣後針對個別產業加入專業知識庫做優化。

亞灣超算也將與國泰金控合作,就金融AI模型進行POC驗證,姚延宗指出,政府已將資料治理納入AI十大建設中,他也期盼並可能透過修法適度放寬資料限制,呼籲能儘速在資料來源取得問題上進行「鬆綁」或「共享」,這對AI應用發展相當重要,另外政府若能有AI治理單一窗口將加快發展效率。

攜手國泰金(2882) 打造本地LLM應用

今年上半,金管會成立「金融市場發展與創新處」,邀集金融總會與4家國內金控業者中信金(2891)、玉山金(2884)、凱基金與國泰金成立「金融科技產業聯盟」,期望打羣架,共同推動金融科技應用研發、數位金融產業標準、金融科技投資交流及異業生態共創。

國立政治大學金融科技研究中心主任王儷玲指出,業界需要一個產官學都認同的共同協作平臺,以驅動臺灣成爲AI大國,初期,產業大聯盟已開始進行大型模型訓練,由中信金控主導,平臺建立後下一步將擴展到保險業及機器人理財投資等領域。

王儷玲指出,政大金融AI創新中心將建立一個知識庫,整理包含學術界資料、考試試題、法規證照等資料,資料清理及模型檢測後,會調教該模型的邏輯思考跟問答,同時在AI模型的標準化上也會努力,並取得法遵及主管機關的認可,且能加入新資料不斷測試精進。

另外透過AI專屬沙盒,提供容錯措施進行多情境訓練,讓AI可以階段性優化。

國泰金控數數發中心數據暨人工智慧發展部副總經理劉浩翔也指出,雖通用型AI如GPT5.0已經很聰明強大,但專門爲金融業Finetune的AI模型仍有必要。他指出,檢索不等於內化的知識,專門訓練的模型將所有知識內化於參數中,能針對結構化問題和邏輯推理提供更穩定的回答。對於處理跨越多項金控法規、內外規的複雜多跳式問答尤其重要,能避免RAG模式下資訊量過大導致的內容丟失問題。

鴻海亞灣超級算力中心日前預告將搭載NVIDIA Blackwell Ultra系統,包含GB300 NVL72機櫃級解決方案,配備NVIDIA NVLink、Quantum InfiniBand以及Spectrum-X乙太網路,預計2026年上半完成第一階段建置,而未來也有第二階段方案將啓動。

國泰金控數數發中心數據暨人工智慧發展部副總經理劉浩翔、鴻海科技集團亞灣超算股份有限公司執行長姚延宗。王鬱倫攝影

國泰金控副總經理施君蘭與政治大學金融科技研究中心主任王儷玲。王鬱倫攝影