AI算力
」 AI 輝達 華碩![alt](https://static.ctwant.com/images/cover/70/355470/sm-cce6581ee85c69ae994c4daa73cfb74c.jpg)
AI新勢力1/「吃電怪獸」引爆能源話題 這小子挑戰教主「用這方法」就不需新核電
首場「國家氣候變遷對策委員會」8月8日啟動,4小時的能源議題討論中,核電從「反核」或「擁核」是非題,轉為「多選題」,擔任副召集人的和碩董事長童子賢以深知企業購買綠電苦楚而力挺核電,尤其台灣經濟邁入AI新世代,「沒電力」就等於「沒國力」。童子賢挺核主張,關鍵源自ChatGPT問世掀起全球AI人工智慧巨浪,輝達執行長黃仁勳被冠上「AI教父」,然而獨霸AI晶片市場的輝達GPU,跑出超級算力也極度耗電,成了「吃電怪獸」,科技大咖急尋解方。不過,「『CPU+GPU+NPU』能一舉解決AI設備又貴又耗電的痛點。」這話出自43歲的耐能(Kneron)創辦人暨執行長劉峻誠。凱米颱風襲台前夕,台北市電腦公會7月23日舉辦「迎向AI新時代-從COMPUTEX看台灣資通訊產業的下一步」記者會,CTWANT記者觀察,現場座無虛席,賓客不畏風雨,就是為了聽童子賢的AI與核電看法。記者會上,主持人做球給童子賢,將話題轉向能源議題。童子賢滔滔不絕地解釋,台灣去年用電2821.4億度,3、4年後就會超過3000億度,若一度發電成本差1元,一年就要多花三千億元,「如果搭配3成綠能、3成核能,以及4成火力發電,這樣經濟效率較高的排列組合,省下經費就可以彌補健保的缺口、高等教育跟研究的需求,這樣更有意義。」「沒電力就沒算力,沒有算力就沒有國力!」童子賢慷慨激昂地開出解方,必須要重新考慮核電,其他大老也連連贊同時,輪到坐在最邊邊的第七位演講者,卻說出不同看法。「完整的(AI運算)系統應該是CPU+GPU+NPU」,而非單純用GPU跑AI,因為代價太大,用了NPU這樣的低功耗晶片後,「就不需要像童董事長一直在講的,甚至要蓋核電廠才有電力去支持這種運用。」劉峻誠一開口,竟然直球對決童子賢,台下引起一陣騷動。圖為氣象署第6代高速運算電腦,也建置GPU架構系統。(圖/報系資料照)不同處理器在AI系統中扮演不同角色,CPU(中央處理器)為電腦核心處理單元,負責執行和控制,處理基本運算和邏輯運算,GPU(圖形處理器)為了圖形和影像處理而生,擅長並行處理大量數據,隨深度學習興起,被廣泛應用於AI運算中,NPU(神經處理器)專為AI推理任務設計,能在低功耗情況下高效執行深度學習模型。在輝達GPU制霸下的AI算力有多耗電?國際能源總署(IEA)提到,使用Google搜尋網路,平均每次耗電0.3Wh,使用ChatGPT平均耗電2.9Wh,將近十倍。高盛證券預估,2023年至2030年間,全球AI資料中心對電力需求將增長160%,特斯拉執行長馬斯克甚至憂慮,未來兩年「晶片荒」將轉為「電力荒」。經濟部能源署也「保守估計」,在AI帶動下,我國用電量10年將增加32%,拉高到3641億度左右。據此,當各國及科技龍頭展開AI算力軍備競賽,巨資向輝達購買GPU,同時也面臨接踵而來的耗電與排碳問題。Supermicro美超微全球業務資深副總裁周政賢向CTWANT記者表示,AI運算要大量的電,部分是為了散熱,所以「液冷」技術開始受重視,畢竟「新設電廠在許多國家,都不是件容易的事。」IP矽智財大廠安謀Arm執行長瑞恩‧哈斯日前也表示,到2030年,AI資料中心會消耗美國電力20到25%,比現在的4%大幅增加,所以他們現正砸錢研究如何降低人工智慧技術的功耗。NPU業者劉峻誠給出另一個方向,「GPU其實不適合跑AI,因為他太貴、太耗電,台灣總不能到處都蓋核電廠。」「如果我們把NPU真正發揚光大,台灣就不會在AI時代只是個製造和代工業,是我們能真正掌握、自建專屬台灣且有影響力的AI。」AI時代需要大量電力,讓核電廠的存廢引發各界關注。(圖/CTWANT資料照)「年底有好幾家雲端大廠,已經非常明確要做『類NPU』架構,而且是國際的一線大廠,這事正在發生!」劉峻誠得意地向CTWANT記者說。事實上,英特爾去年推出的新款Core Ultra處理器晶片,測試20次AI圖像生成時發現,NPU執行任務要20.7秒,僅花CPU一半的時間,功耗更降低75%,只有10瓦,優於GPU的37瓦,整體效率提升7.8倍,若將NPU與GPU結合使用,處理時間更僅需11.3秒,最後推出結合三種模式的晶片。一位業內人士向CTWANT記者表示,這類型CPU+GPU+NPU的做法,會越來越普遍,雖然GPU的算力還是比較強,但應用在消費性電子產品上,NPU的省電優勢不容小覷,而輝達GPU獨霸的AI高算力系統,要如何擺脫吃電怪獸的桎梏,大家也拭目以待。
![alt](https://static.ctwant.com/images/cover/50/341250/sm-56b66599cb01d5edde5ee0c47f626160.jpg)
雙北高雄台南四首長急向黃仁勳招手 「輝達AI設計中心來我這」
輝達(NVIDIA)執行長黃仁勳訪台參訪台北國際電腦展(COMPUTEX),不僅成為鎂光燈焦點,受訪時所說的每一句話,也都成為業界焦點。黃仁勳於3日晚間受訪時表示,輝達將在未來5年內,在台灣設立一個很大的設計中心(Design Center),至少會僱用1000名工程師,並歡迎大家「推薦地點」。消息一出,幾個條件不錯的縣市,紛紛開始積極連繫爭取。據了解,輝達申請經濟部的領航企業研發深耕計畫於2021年通過,該計畫總經費約新台幣243億元,經濟部補助67億元、輝達自籌176億元,其中一項計畫便是在台灣成立首座AI研發中心。由於興建大型設計中心需要很大的腹地,外傳設在台南、高雄的機率較大,但新北市長侯友宜在今(4)日議會總質詢時表示,新北市經發局已和輝達聯繫,希望能爭取輝達進駐,並提出樹林大柑園、三峽麥仔園、泰山楓江案等三個可能的地區供輝達選擇。新北市經發局長何怡明指出,目前提供給輝達的是新北市的產業布局及整體AI環境介紹,台北國際電腦展後,會再以互相對接交流方式,說明新北市整體投資環境。成功爭取到台積電新設3座2奈米晶圓廠的高雄市,對於輝達設計中心也展現積極態度。高雄市長陳其邁表示,未來是「生成式AI」的時代,需要更大的運算能力,鴻海與輝達合作打造的先進AI算力中心已宣布要在高雄軟體園區設立,加上高雄有陽明交大、清大等頂尖大學進駐,在產學合作上有相對的優勢和經驗。陳其邁說:「機會是劉給準備好的人!」高雄在爭取輝達設計中心進駐絕不會缺席。除了高雄,台北市長蔣萬安也說:「台北市已經準備好了。」蔣萬安表示,AI發展絕對不只是軟硬體,更需要優秀人才和宜居的環境,而台北市是國際大都會,同時又匯聚最具創意和研發人才,是輝達的最佳選擇。至於台南市,由於南科的發展已日趨成熟,台南市經發局也表示,將在南科的基礎上再提出配套,會積極爭取輝達設計中心進駐。
![alt](https://static.ctwant.com/images/cover/35/339535/sm-869a6f0963f61607ef555aa98fbaf1b9.jpg)
正崴攜優必達斥20億建AI綠能運算中心 華碩成「獨家供應商」
由於台灣在AI算力方面持續成長,正崴集團(2392)今(27日)在新北土城總部舉辦「打造台灣AI革命運算基地」簽約儀式,華碩(2357)成獨家硬體供應商。並宣布與旗下森崴能源,攜日商優必達(Ubitus)共同合作,斥資20億元建置規模達128台的H100伺服器「超級運算中心」,負責算力服務及AI應用,以全面強化提升台灣運算的全球競爭力。正崴集團今日舉行兩場重要簽約儀式,一是與華碩集團簽署GPU設備採購合約,其 128 台 H100 將由華碩生產提供,建置超級運算中心;另是與日本優必達公司簽訂全球戰略夥伴,共同成立「優崴超級運算公司」,結合優必達的軟硬技術進行管理營運。董事長郭台強表示,優崴超算由優必達49%、正崴持股41%、森崴能源10%,未來的營運將同時提供AI算力與相關應用,希望其投資的新台幣20億元資金能在5年內進一步回收。郭台強補充道,目前正崴已投入初步的建廠規劃,第一期預定將在今年第四季,即可完成128台、共1024片AI運算加速卡的運算中心,建置完成後,將成為亞洲最大且算力最快的AI綠能運算服務中心。除了搭載 H100 AI晶片的伺服器外,後續還將積極爭取最新的GB200的AI晶片。而且會根據市場需求,繼土城後,續在新竹、台中、台南等地建置AI運算中心。郭台強進一步指出,利用AI算力提升企業和國家的整體競爭力,協助企業將「產業AI化」與「AI產業化」,未來只要台灣有需要,正崴集團將全力支持投入建置最新的運算基地。森崴能源也不斷聚焦能源轉型,有超級運算中心,不能沒有超級電力加以支援。同時,優崴超算透過國內外所有科技夥伴全力相挺,共同打造台灣成為全球AI先進製造中心及綠能發展的重要基地。
![alt](https://static.ctwant.com/images/cover/70/333070/sm-95451d1adc4c77fc93c9aa92f090e1a5.jpg)
輝達在台設亞洲首座AI研發中心!2年聘用400人 經濟部:對我人才素質滿意
AI大廠輝達(NVIDIA)前年來台設首座亞洲AI研發中心,總投資金額243億台幣,至今已僱用400名員工。經濟部技術司26日表示,輝達目前研發順利,也將協助我廠商進行AI應用開發,對我人才素質感到滿意,相信將來會有在台設第二座研發中心考量。輝達是2021年申請人工智慧創新研發中心計畫,經濟部補助67億元,2022年起台灣AI研發中心成立,地點設在台北內湖,同時承諾2027年要僱用到1000名員工。這座亞洲第一個研發中心,主要進行AI晶片研發與GPU圖形處理器,還建立了全台最大的超級電腦「Taipei 1」,日前經濟部代為宣布,「Taipei-1」要免費提供AI算力給產官學研究與新創作研發使用,可幫助我國投入生成式AI、大型語言模型、數位孿生等前瞻研發。經濟部技術司長邱求慧說,輝達在台投資計畫不只設研發中心,還包含分享超級電腦資源給業界,並參與台大、清大的AI人才培育,已有6、700人受惠。另外,讓我研究機關、產業界參與AI技術與產品研發專案,支持中小企業與新創導入AI應用等。技術處官員表示,已對輝達研發中心做了三次驗證,2年來已聘用400人,都符合當初計畫要求。目前輝達對台灣人力素質與成本都表示滿意,相信未來會考慮在台設第二座研發中心。對輝達創辦人黃仁勳選擇台灣,邱求慧說明,主要是台灣在硬體、基礎建設、人才方面都有優勢,人才具高度專業和工作紀律,加上半導體生態體系完整等。輝達研發中心除了帶動對台投資外,官員表示,也具有提升台灣研發能力效益。該中心目前運用GPU技術,與台灣廠商共同進行AI應用開發,聚焦在人工智慧領域,包括鑑別式AI和生成式AI。其他還有與國內ICT業界的研發合作,協助我推動智慧工廠轉型。
![alt](https://static.ctwant.com/images/cover/35/307935/sm-d9b2942fd5128e92ccf7add7ad4da2b8.jpg)
台股封關「就快萬八」!全年漲3793點 法人看2024「將是AI導入企業爆發期」
台股今天(29)封關,盤中最高來到17945.70點,萬八就差臨門一腳,攻勢熄火,終場收在17930.81點,上漲20.44點,AI概念股、光電股、散熱模組、觀光股為焦點,台積電收在593元。今年一整年上漲3793點,創歷年來第二高漲點。統一投信副總經理林鴻益指出,2024年將是最多企業導入AI專案的時期;統一投顧預期2024年整體企業獲利達3.5兆元,年營收增長率YoY獲利成長達18.3%,其中電子業因庫存調整結束,加上AI商機在2024年爆發,獲利動能最強。由於企業獲利的高點落在4Q,將推升2024年台股再創高點。在投資佈局上,建議聚焦於AI商機(Server、ASIC AI、Edge AI)、手機新科技、記憶體及DDR5概念、ESG(EV充電樁、ESL)、景氣復甦(鋼鐵、散裝)、汽車零組件、紡織鞋材、新劑型新藥、殖利率高的金融股等產業與題材。統一證券29日舉辦「2024年投資展望會」,左起為統一投顧證券分析師陳杰瑞、統一投信副總經理林鴻益、統一證券副總經理張宏碩、統一投信總經理董永寬、統一證券副總經理葉明杰。(圖/統一證券提供)針對AI商機,統一投信副總經理林鴻益指出,2024年將是最多企業導入AI專案的時期,將提高營運效率及創造新營收。AI雲端巨頭客戶數大增,顯示出市場對AI的強勁需求,相關雲端產業於2023年下半年大幅提升支出,加速刺激AI的發展。先進封裝製程作為AI基礎建設的核心技術,將在 2024上半年持續供不應求。若AI算力投資能顯著提高企業生產力,未來可望見到更多AI驅動的殺手級應用誕生,促進產業蓬勃發展。襲捲全球的AI浪潮及新興科技投資機會,有望成為投資人2024年的布局重點。統一證券副總經理葉明杰表示,由於美國通膨和就業相關數據於今年第四季趨向疲軟,預計美國整體貨幣政策在明年有機會見到拐點,但考量到目前美國整體經濟數據仍有韌性、通膨還不到Fed目標,明年經濟前景軟著陸的可能性較高,降息時點預計距離現在仍有兩到三個季度。
![alt](https://static.ctwant.com/images/cover/57/303357/sm-6d10f16210da08eb2b7fef973c3d72f8.jpg)
PC手機需求趨穩+3奈米產能強勁 台積電11月營收2060億元寫同期次高
晶圓代工龍頭台積電(2330)上周五(8日)公告11月營收2060億元,月減15.3%、年減7.5%,仍創同期次高、歷史第6高;累計前11月合併營收1.98兆元,年減4.1%。台積電認為,隨著PC、手機客戶需求趨穩,加上AI需求強勁,推升3奈米量產動能,明年將會是健康成長的一年。根據台積電對第四季展望預估,單季營收營收介於188至196億美元,季增約8.8至13.4%、年減1.7~5.7%;若以新台幣兌美元 32比1元計算,上看6262 億元;累計10、11月合併營收已達季營收目標約73.1%,法人預期應可順利完成財測目標。台積電先前法說時指出,半導體產業庫存雖持續調整,但受惠3奈米需求持續強勁成長、可望減緩對公司影響,帶動第四季營收持續回升。且隨著PC及智慧手機終端需求趨於穩定,預期庫存水位可望在年底達到更健康水準,加上 AI 持續強勁,推升3奈米量產動能,明年預計會是健康成長的一年。展望後市,台積電總裁魏哲家上周四(7日)在2023年供應鏈管理論壇中表示,半導體是AI應用發展的關鍵,受惠AI應用迅速發展,2024年也將是充滿機會的一年。而隨著AI算力需求在未來2年內可能輕易增加3倍,降低能耗將變得越來越重要。台積電也將於本周四(14日)將進行除息交易,每股配發現金股利 3 元。
![alt](https://static.ctwant.com/images/cover/45/294445/sm-f70892836133742768b55516679b486a.jpg)
老廠成飆股2/「兩個月漲三倍拉回後能進場嗎?」 分析師:能否站回月線是強弱關鍵
台股2023年前三季可說是AI概念股元年,直到近兩個月PCB概念股才甦醒,飆股定穎(3715)兩個月漲三倍後近期漲多拉回,不少投資人在問,現在能進場嗎?法人告訴CTWANT記者,定穎主要買盤來自本土投信,不過10月以來有轉買為賣的跡象,「定穎基本面上沒有太大問題,但技術線型來看,建議投資人觀察,股價在沒有站回月線之前,先保守以對。」PCB產業年度盛事2023 TPCA Show 台灣電路板產業國際展覽會27日甫落幕,對於產業後市,台灣電路板協會理事長李長明表示,2023年是充滿挑戰的一年,當前電子產業正面臨著來自通膨升息、庫存去化以及消費低迷等多重挑戰。然而,台灣PCB憑藉其先進的半導體技術和完整的電路板供應鏈,正積極邁向高階製造,成為全球電子供應鏈中不可或缺的夥伴。就PCB概念股中的大飆股定穎控股,華冠投顧分析師范振鴻分析,定穎投控最大的營收佔比毫無疑問是車用HDI板,營收佔比高達70%,更仔細的來看,截至今年上半年,定穎的電動車相關營收佔比已經上升到20%,「綜觀全PCB族群,要有這樣的營收佔比數據是沒有第二家廠商可比擬的。」敬鵬也是車用電路板大廠,法人指出,但電動車比重稍低於定穎。(圖/翻攝自敬鵬官網)同樣以車用板為主的還有敬鵬(2355),其車用產品占比更高,為80%。不過不同的是,敬鵬的產品大部分是應用在油車上面,而敬鵬的電動車營收占比仍低於10%。范振鴻說。根據IEA(國際能源總署)預計,2023年全球電動車的年銷量將達到1400萬輛,年增長35%,估計市場滲透率將突破16%。范振鴻也指出,以基本面的角度來探討,范振鴻說,定穎目前電動車客戶涵蓋了歐系Tier 1及美系電動車客戶,在電動車滲透率逐年提升的情況下,相對電動車的營收貢獻也會逐年擴大。除此之外,市場熱門討論話題之一的自動駕駛系統,除了AI算力需要大幅提升之外,硬體方面也必須跟著升級,范振鴻說,定穎近期也就受惠於這項利多,客戶拉貨力道強勁,帶動公司整體的產能利用率提升,使得整體毛利率逐季攀升。總的來說,除了受惠市場逐年擴大需求量快速成長、高階產品出貨暢旺毛利率持續提升的情況下,定穎的獲利也就有望逐年攀升。電動車銷量持續增加,也推升PCB需求增溫。(圖/新華社)
![alt](https://static.ctwant.com/images/cover/74/289074/sm-f9ca6e973c913fde899f719c9df39508.jpg)
擺脫輝達獨霸? 6大科技巨頭群起自研AI晶片
據科技媒體The Information昨天(7日)引述知情人士消息報導,微軟、OpenAI、特斯拉、谷歌、亞馬遜、Meta這六大科技公司正在研發自家的AI晶片,預計會與輝達(Nvidia)的旗艦級微處理器H100 GPU競爭,且可能有助於降低成本及減少對輝達AI晶片的依賴。輝達如今已是當之無愧的「AI算力王者」,A100/H100系列晶片佔據金字塔頂部的位置,但用戶面對輝達的獨霸天下,吃盡了成本高昂的苦頭。據華爾街投行伯恩斯坦(Bernstein)的分析,ChatGPT單次查詢的成本約4美分(約新台幣1.2元),若要將搜尋量增長到谷歌的十分之一,每年將耗費約481億美元的GPU,以及約160億美元的晶片來維持運行。所以無論是為了降低成本,還是減少對輝達的依賴、提高議價能力,科技巨頭們都紛紛下場自研AI晶片。微軟計劃在下個月的年度開發者大會上,推出該公司首款為人工智慧(AI)設計的晶片。事實上,The Information曾報導過,微軟自2019年以來就一直在開發一款代號雅典娜(Athena)的專用晶片,用於為大型語言模型提供動力。該晶片將由台積電代工,採用5nm先進製程,計劃最早於明年推出。有分析師表示,開發類似於雅典娜的晶片可能每年需花費約1億美元,ChatGPT每天的營運成本約70萬美元,大部分來源於昂貴的服務器,如果雅典娜晶片與輝達的產品擁有同等競爭力,每個晶片的成本將可以降低三分之一。OpenAI也正在探索製造自研人工智能芯片,並已開始評估潛在的收購目標。報導稱,至少從去年開始,OpenAI就已討論各種方案,以解決AI晶片短缺問題。OpenAI已與包括輝達在內的其他晶片製造商更密切地合作,以及在輝達之外實現供應商多元化。電車大廠特斯拉則立足於智能駕駛,目前已經推出了兩種自研晶片,分別為全自動駕駛(FSD)和Dojo D1晶片。FSD晶片用於特斯拉汽車上的自動駕駛系統;Dojo D1晶片則用於特斯拉超級計算機Dojo片,它是一種通用的CPU,目的是為了加速特斯拉自動駕駛系統的訓練和改進。谷歌也早在2013年,就已祕密研發一款專注於AI機器學習算法的晶片,並將其用在內部的雲端計算數據中心中,以取代輝達的GPU。這款自研晶片「TPU」於2016年公諸於世,可以為深度學習模型執行大規模矩陣運算,例如用於自然語言處理、計算機視覺和推薦系統的模型。谷歌實際上2020年便已在其數據中心部署了AI晶片TPU v4。不過直到今年4月才首次公開了技術細節。亞馬遜從2013年推出首顆Nitro1晶片至今,AWS是最先涉足自研晶片的雲端廠商,已擁有網路晶片、伺服器晶片、人工智慧機器學習自研晶片3條產品線。AWS自研AI晶片版圖包括推理晶片Inferentia和訓練晶片Trainium。2023年初,專爲人工智慧打造的Inferentia 2(Inf2)發佈,將計算性能提高了三倍,加速器總內存提高了四分之一,可通過晶片間的直接超高速連接支持分佈式推理,最多可支持1750億個參數,這使其成為大規模模型推理的有力競爭者。Meta直到2022年,還主要使用CPU和專為加速AI算法而設計的訂製晶片組合來運行其AI工作負載,但CPU的效率往往不如GPU。後來Meta取消了於2022年大規模推出訂製晶片的計劃,轉而訂購了價值數十億美元的輝達GPU。為扭轉局面,Meta已經在開發內部晶片,並於5月19日公布了AI訓練與推理晶片項目。據介紹,該晶片的功耗僅為25瓦,佔輝達等市場領先供應商晶片功耗的一小部分,並使用了RISC-V(第五代精簡指令處理器)開源架構。
![alt](https://static.ctwant.com/images/cover/92/282592/sm-5163c1317ddf035fa5bef1151ccf8fef.jpg)
輝達攜手信實工業、塔塔集團 深化印度AI領域
據路透報導,輝達與印度信實工業(Reliance)、塔塔集團(Tata Group)8日傍晚發佈聯合聲明,將合作設立超級運算設施,共建印度本土大型人工智慧(AI)語言模型,讓AI技術更好地為14億印度人服務。聲明中提及,輝達將提供建構AI雲端基礎設施所需的運算能力,信實工業旗下的電信公司Jio,則將管理和維護人工智慧基礎設施,並監督客戶參與,目標在印度當地設立「較當前印度最快超算強大一量級」的人工智慧基礎設施。輝達也將向信實提供最先進GH200超級晶片,並向合作夥伴開放接入DGX AI算力雲端服務。輝達總裁兼CEO黃仁勳表示,很高興能與信實合作,在印度打造最先進的人工智慧超級電腦,印度具有人才、數據和規模,憑藉最先進的算力設施,信實能夠構建自己的大型語言模型(LLM),為印度本土的生成式AI(AIGC)應用提供支持。擁有頂級算力後,Jio還將與輝達合作開發適合印度國情的大語言模型。印度有著非常複雜的語言系統,據統計,該國一共有1652種語言和方言,其中使用人數超過百萬就有33種。印度憲法規定了18種語言作為聯盟官方語言,另外還使用英語作為行政、司法用語。這種特殊的國情,也讓AI龍頭們一個接一個發起挑戰。輝達在聲明中稱,人工智慧可以幫助農民用當地語言與手機互動,獲取天氣和農作物價格的資訊。同時在醫生緊缺的地方,也能提供醫學症狀和影響掃描的專家診斷。同時人工智慧還能更好地預測災害性天氣,使處於危險的人們及時疏散。黃仁勳在本周一(4日)剛訪問印度,並獲得印度總理莫迪的親自接見。會後莫迪也在社交媒體上表示,兩人詳細討論了印度在人工智慧領域提供的豐富潛力。印度政府預期,印度本土晶片市場到2028年的規模將從目前的230億美元翻倍至800億美元。
![alt](https://static.ctwant.com/images/cover/26/259326/sm-80e9dfd90bf86df098e03059ceda1b99.jpg)
70歲AI衝浪王1/施崇棠掌舵30多年功力發威 華碩2個月火速建置台版Chat GPT「福爾摩沙大模型」
生成式AI熱潮掀起之際,台灣不落人後,與ChatGPT3.5同級的「福爾摩沙大模型」(Formosa FoundationModel,也可稱Formosa Chat)在5月17日亮相,它不但是首個繁體中文商用AI大模型,還可選擇地端(企業自家機房)建私有雲,它所需的超級算力「台灣杉2號」,幕後關鍵推手全是今年70歲華碩董事長施崇棠。「他(施崇棠)會念很多國外AI論文,跟我們討論。」台灣杉2、3號主持人、台智雲總經理吳漢章說,「去年底生成式AI出現、Chat GPT橫空出世,他看到『生產力革命』已經到來,並認為「『算力』將是驅動未來數位經濟,最重要議題。」在施崇棠一聲令下,吳漢章與超級電腦團隊待命,使用Bloom-zh繁體中文大模型開源,火力全開密集訓練、快速建置出福爾摩沙大模型,不到兩個月就在華碩AI超算年會中面世。近年鮮少出席公開場合的施崇棠,親自出席自家的超算年會,發下豪語要打造「AI Foundry」,興致勃勃地站在AI浪尖上,再展事業雄心,一如他27歲進入宏碁電腦,進入電腦產業「有幸躬逢其盛」,十年後成立「華碩電腦」,「開創一家電腦技術天下無敵的公司」初心。在全球PC市場裡,華碩(ASUS)與宏碁(Acer)「雙A」品牌各擁一片天,而在詭譎多變的市場中,施崇棠不時運用孫子兵法策略,例如「蛇」般靈活推出主流產品頭尾夾擊,以「巨獅」做大衝量吃市佔、「銀豹」衝刺利基高值化產品,為業界津津樂道。在2017年11月華碩首款家庭智能機器人「小布(Zenbo Qrobot)」誕生,這款陪伴型機器人會說故事、教英文、打電話、拍照。(圖/報系資料照)這位前參與打造台灣成為電腦王國的大將,從電腦、筆電、手機做到伺服器,2015~2017年間面臨營收連續3年下滑,始終無法突破集團總營收5千億關卡,施崇棠清楚觀察到,筆電、PC及手機市場成長到了天花板,轉向AI人工智能尋求突破機會。在2017年11月,華碩推出首款家庭智能機器人「小布(Zenbo Qrobot)」見面會在北京舉行,這款會說故事、教英文、打電話、拍照的陪伴型機器人,一度造成轟動,儘管當時營收獲利貢獻有限,能量迄今延續到智慧醫療領域。2018年,華碩斥資百億進軍智慧醫療,施崇棠還親自挖角有微軟及Google經歷的黃泰一,在淡水總部大樓裡打造百人AI部隊智慧醫療,並與廣達、台哥大等參與打造台灣超級電腦台灣杉2、3號,吳漢章表示,基於各國家、文化、產業等情境不同及資安考量,「台灣需要一個基於本土算力的語言模型。」兩年前華碩進一步成立「台智雲」,接手台灣杉2號營運。從3C產品「硬體」切入AI算力「軟體」,施崇棠保持「躬逢其盛」,尤其Chat GPT去年底問世後,整個華碩的AI團隊通通上緊發條,他們很快發現,「因為ChatGPT生於美國,繁體中文資料比例低於0.1%、簡體中文資料不超過2%」,華碩營運長暨台智雲董事長謝明傑指出,「大部分是英文的腦,中文的腦相當少。」因此今年二月間聯發科將繁體中文生成式AI「BLOOM-zh」開源釋出後,台智雲靠著台灣杉2號超級算力,使用「BLOOM-zh」建置福爾摩沙大模型,大量「餵入」1760億個參數、比Chat GPT3.5還多10億個,相較於Chat GPT資料停留在2021年9月,福爾摩沙大模型持續更新資料;如此可以降低答非所問、「跟使用者道歉」的機率。「可以把『參數』理解為人類的神經元,讀了越多書、資料庫越多」,華碩雲服務事業部主管在AI超算年會現場展示攤位解釋,Formosa Chat除了繁體中文環境,還會講英、日、德、越南等46種語言,像是個飽讀詩書的大學生,正在實習,7月就開始正式到社會工作,「一些翻譯、分析企劃,寫簡單新聞稿、程式的工作,可以交給他」,目前規劃僅限企業使用。「每個問題是獨立的,別人不會知道你問了什麼,具高度隱私與資安防護。」依各行業需要的不同,如零售、電商、SaaS(軟體服務)等,會有相應的語言模型。這個生成式人工智慧雲即將在7月開放客戶申請,一個月費用約6萬元。台智雲華碩營運長暨台智雲董事長謝明傑(左)、台智雲總經理吳漢章(右)領軍團隊,已拜訪數百家機構,有成功替新加坡商場建立保全服務經驗。(圖/趙世勳攝)最近OpenAI執行長阿特曼(Sam Altman)應邀求出席美國參議院司法委員會聽證會,就是被詢問AI風險控管,而華碩已經提出解決方案-台智雲全球首創的服務「AFSAppliance(大型語言模型地端部署)」,內有散熱模組、2個CPU、32支記憶體,輝達A40視覺運算GPU則可依需要選1~8組,依不同需求,價格落在60~300萬,「如果醫療、金融、法律、製造、會計等,具機敏性、規範更高的企業,或訂製服務,就可以購買AI伺服器,放在公司裡變私有雲」。「福爾摩沙大模型,將是東南亞最安全語言模型。」吳漢章指出,台智雲有200人研發團隊,已經拜訪數百家機構,有成功替新加坡商場建立保全服務經驗:「客戶如果是企業自建AI團隊,會需要20個以上工程師、千倍以上的成本。」尤其對人力精簡、又需要算力的中小企業來說,是最佳解決方案。問及訂單情況,他含蓄表示:「不缺客戶。」
![alt](https://static.ctwant.com/images/cover/27/259327/sm-343e7971e41d44df45c9d2e7b9f6af68.jpg)
70歲AI衝浪王2/Formosa Chat讓台灣接軌生產力革命時代 「打造台智雲成AI界台積電!」
華碩旗下台智雲日前發表「福爾摩沙大模型」,讓台灣在生成式AI大浪不落人後,主要歸功於超級電腦「台灣杉2號」,這是東南亞唯一的高階商用AI算力。「台灣擁有比鄰近國家,更優越的算力動能,已進入AI2.0時代。」參與打造台灣超級電腦的華碩董事長施崇棠說。全球僅25座商用AI超級電腦,台灣杉2號是其中之一,由此可見算力的稀缺性;台智雲總經理吳漢章是當時競標超級電腦的團隊主持人,指出當時有國內外數個團隊積極參與,不過團隊以算力勝出,而且評審團相當看重技術自主,造就本土團隊的優勢。台灣杉2號是在陳良基科技部長任內的建設,他5月17日出席超算年會時指出,儘管現在AI就在眼前,當年他推動時並不容易,所幸施崇棠、廣達董事長林百里、及台灣大哥大董事長蔡明忠跳出來,加上輝達(NVIDIA)參與合作,才讓台灣杉2號做起來,甚至在當年度成為全球排名前20、能源效率前10名的超級電腦,「這是台灣不曾有過的佳績」。華碩 AI 雲創園區。(圖/趙世勳攝)台灣杉2、3號是2018年國家以前瞻基礎建設預算,3年斥資30億打造的AI超級電腦,由國網中心負責設計監造、台灣大哥大建置符合國際標準的機房建置及電信級資安維運、廣達則是資料儲存平台、華碩執行雲端服務平台及AI應用整合。台智雲今年並再度參與台灣杉4號,從國家超級算力基礎建設,累積打造生成式AI國家隊5年經驗。兩年前,科技部將台灣杉2號商業營運權與團隊授權移轉到台智雲之後,如今出現生成式AI「福爾摩沙大模型」,現在無論多大、多小規模的企業級客戶,都能使用這座斥資50億打造的超級電腦。輝達台灣區業務暨行銷副總裁邱麗孟認為:「尤其台灣是貿易之島、很多中小企業,又有很強ICT能量。」輝達2017年起與華碩頂尖超級電腦團隊合作,參與台灣杉2、3、4號建置,如今再次協助台智雲成為亞洲唯一、提供商用AI超算服務的雲端服務業者。施崇棠希望復刻「過去30年,半導體製造能力與電腦產業生態,令台灣變成世界不可忽視的ICT產業重鎮」經驗,他發下豪語,要進一步打造「台智雲成AI界台積電、AI Foundry」,建立起跟半導體一樣成功的商業模式,他認為在AI2.0新生態,創造連結夥伴也最重要的功課之一,也能藉此延續台灣的科技實力。(左至右)華碩雲端暨台智雲總經理吳漢章、台灣大哥大資訊長蔡祈岩、華碩副董事長徐世昌、前科技部長陳良基、華碩董事長施崇棠、台灣雲端物聯網產業協會理事長李世光、NVIDIA全球副總裁暨台灣區總經理邱麗孟、華碩營運長暨台智雲董事長謝明傑出席台智雲 2023超算年會,陣容浩大串接台灣供應鏈。(圖/趙世勳攝)