LLM
」 AI 輝達 OpenAI ChatGPT 人工智慧夏普搶進電動車市場 概念車LDK+結合AI在9月中旬亮相
鴻海(2317)旗下子公司夏普(Sharp)宣布,將採用鴻海EV平台研發概念車「LDK+」,預計將9月中旬正式亮相,正式進軍電動車(EV)事業。夏普將在17日於東京舉行的夏普技術展示活動「Sharp Tech-Day’24 “Innovation Showcase”」上發表電動車概念車LDK+。夏普表示,LDK+以鴻海集團研發的EV平台為基礎進行研發,並獲得日本電動車新創公司Folofly的協助。LDK+將車內視為「客廳擴展空間」,搭配夏普自家AI技術「CE-LLM」、AIoT技術及感測器技術。不僅如此,夏普也表示,LDK+後排座位可1向後回轉、且車後方搭載65吋顯示器,可作為劇院、兒童娛樂或遠端辦公空間;同時可依照用戶喜好自動調整空調、亮度。值得注意的是,搭載的蓄電池和太陽能面板能和家裡連結,透過AI為家裡和電動車實現最佳化能源管理,如果房屋停電時,車內電力可以供家裡使用。夏普技術長種谷元隆曾表示,「在實現低碳社會的部分,電動車(EV)的發展有很大的空間,希望藉此提升客戶的便利性。」據了解,夏普液晶螢幕業務低迷,已連續年虧損,8月時夏普已經暫停電視用大型液晶螢幕的生產,接下來的電動車事業,將成為夏普著重發展的項目。
老黃簡報提3次提「他」 APMIC帶AI解決方案反攻美國市場
今年台北國際電腦展COMPUTEX掀起AI教父、輝達(NVIDIA)執行長黃仁勳炫風,他在演講簡報提及的台灣公司股票都大漲一波,有一家軟體公司的名稱出現三次,那就是主打企業自主AI解決方案的台灣新創公司APMIC。APMIC創辦人暨執行長吳柏翰27日表示,旗下的大型語言模型「CaiGunn開講」將引進北美市場,讓企業擁有能力打造自己的AI大腦、人人輕鬆參與AI時代,協助全球企業邁向AI轉型。「CaiGunn開講」,名稱取自台語「聊天」發音,是APMIC團隊打造的在地化大型語言模型與平台框架。吳柏翰介紹,企業人員只要將現有的文章、網站或是文件資料上傳,不需寫任何程式,就能打造出地端的企業AI大腦,不上傳到雲端,所以不怕機密洩漏,每個員工都能一鍵套用、用對話的方式使用AI工具。「CaiGunn開講」已獲得Google、台北市政府、NEC、台塑生醫、中國信託銀行及亞太電信等800多家橫跨健康、製造、金融、航空、零售等產業採用,為企業服務效率提升超過30%,也是2023年全台唯一上榜全球知名開源語言模型平台Hugging Face百大排名的模型。輝達也在27日宣布推出四款全新NVIDIA NIM微服務,讓開發人員能輕鬆建置與部署高效能的生成式AI應用,針對地區需求量身打造,在台灣使用Llama 3-Taiwan 70B NIM微服務,可降低生產環境中運行模型的總成本,並減少延遲。輝達新聞稿提到,像是長庚醫院正在以此建置該院專屬的AI推論服務,集中管理醫院體系內的所有LLM應用;和碩用來開發內外部的應用,將這款微服務與旗下的AI系統整合,提升製造與營運效率。其他包括長春集團、欣興電子,媒體公司,以及線上合約服務公司律果科技與新創公司APMIC等都有在開放模型上進行合作。數據顯示,目前企業做AI生成,用小模型加上RAG準確率只能達到83.9%,若想更精準,就必須花更多的錢、買更大的設備與模型,但APMIC的技術就是用他們「微調」,使用輝達H100的顯卡,達到H200擁有的90%以上的精準度。吳柏翰表示,今年他到美國參加輝達的GTC大會時,發現美國雖然AI發展得早,但缺乏相關的框架業者,而他們已能跟輝達生態圈合作打團體戰,包括硬體、軟體與系統整合等廠商,進軍美國市場。
找不到內部資料怎麼辦? Gufonet讓你不再擔心被老闆「刮」
AI逐漸改變人類生活,但要怎樣運用在生活與工作之中?其實從AI研發到生活運用,「系統整合」(SI)扮演重要的橋樑功能,讓想不到的生活情景一切成真。在公司上班,經常為了尋找公司內部資料忙的焦頭爛耳,找不到、找太慢還會被老闆「刮」,惹得心情不好。如果能說服公司找系統整合廠商加裝一套Gufonet 的搜尋系統,從此找資料不再是苦差事,提升工作效率還可以透過系統交叉分析,得到更多的策略建議。Gufonet在市場的口碑就是企業控存查找資料的最佳選擇,在於掌握大型語言模式(LLM)的整合技術,能生成專業文本,適合用於商業應用,對華文世界的先進生成式人工智慧語言處理、語意檢索領域有突破性發展。掌握這項技術的「驊宏資通」(6148)表示,Gufonet可以將龐大的資料庫化繁為簡,不必改變資料架構,也依關聯性分類切割,能自動比對增加搜尋效率,擴大資料使用價值,可以說是「一站到位」的決策中心,提升公司精準決策效率。尤其在單一機體有一億筆的運算容量,零人工介入,能支援60種以上檔案格式,AI能生成報告範本、新聞稿,加上知識庫問答,使Gufonet功能更加強大。現在一般的企業內部資料儲存檢索系統多以入口網站的方式登入,再以標韱索引進行查找,程序上是依分類階層進行資料蒐尋,必須輸入精確關鍵字才能縮短尋找資料時間,而且有人工介入的管理成本,連帶產生資安問題,資料庫也沒有AI的運算和生成功能,較缺少系統整合設計。網路化資料最講求資訊安全,Gufonet設定原始碼弱點零檢出的安全等級,資安第三方認證的高標準,最適用於知識管理、企業入口網、客服系統、雲端搜尋行業。就是因為有AI的資料庫運算,不但能快速儲存、搜尋能力,加上字詞比對,以及高標準資安要求,才獲得台北捷運工程局採用Gufonet作為核心打造高效率內部業務系統,在工程大圖收存與跨資料檢索能力獲得公部門的認證。當你在公司上班,有了Gufonet之後,就不會因為找不到資料而煩惱。「讓機器讀懂你的心!」AI增加你的上班效率,也改善生活品質。
劍指谷歌!OpenAI與多家新聞媒體出版商合作 計畫推出AI搜尋引擎「SearchGPT」
美國人工智慧研究實驗室「OpenAI」正在測試一款人工智慧(AI)線上搜尋引擎「SearchGPT」,其將使用生成式AI收集資訊並以對話的語氣回答問題和搜尋結果,幫助用戶更快、更輕鬆地找到他們的查詢內容,目前僅向一小部分用戶開放測試,且尚未透露正式的推出時間,預計「SearchGPT」最終可能會整合到「OpenAI」的「ChatGPT」聊天天機器人中。據科技雜誌《連線》(Wired)的報導,「OpenAI」發言人伍德(Kayla Wood)拒絕向《連線》提供演示新工具「SearchGPT」的詳細資料,但證實該公司已向若干合作夥伴和新聞媒體出版商取得訪問權限,並根據他們的反饋內容改進搜尋引擎的功能,此舉被外界解讀是正面劍指搜尋引擎龍頭「Google」。「OpenAI」的主要投資者微軟(Microsoft)是最早向大眾發布生成式AI搜尋引擎的公司之一,該公司於2023年把AI聊天機器人「ChatGPT」背後的人工智慧技術整合到旗下的網路搜尋引擎「Bing」,以及瀏覽器「Edge」中。微軟的人工智慧搜尋引擎現已更名為「Microsoft 365 Copilot」。隨後,「Google」以及由AI聊天機器人驅動的研究和會話搜尋引擎「Perplexity AI」等多個競爭對手,都向用戶推出了自己的AI搜尋服務。例如「Google」就在搜尋引擎中推出名為AI概述(AI overview)的新功能,替用戶一次整合所有搜尋結果,不需點擊多個連結。而「OpenAI」的「SearchGPT」則看起來與「Perplexity AI」更為相似,其聊天機器人可使用自然語言預測文字回答查詢,並使用網路來源產生答案,引用文字回應中的連結。「OpenAI」在2022年11月首次推出ChatGPT後,許多用戶看到聊天機器人從網路中挖掘和總結資訊的能力,預期AI聊天機器人有可能取代傳統的網路搜尋引擎。然而,大型語言模型(large language model,LLM)的缺點使得聊天機器人的搜尋功能不完全,這些模型所利用的訓練數據通常已經過時數月或數年,因此當不確定答案時,AI聊天機器人就會編造「錯誤的事實」。對此,「OpenAI」的「SearchGPT」可能會使用結合了搜尋檢索和生成能力的自然語言處理架構「檢索增強生成」(Retrieval-Augmented Generation,RAG),來降低聊天機器人的錯答率。透過RAG架構,人工智慧工具將引用可信任資訊,例如首選新聞網站,同時將產生搜尋結果的資料和數據來源。不過這個方法具有潛在的版權侵犯問題。例如「Perplexity AI」就遭到包括《連線》在內的網站或新聞媒體出版商的批評,因為其AI搜尋引擎涉嫌抄襲原創新聞網站的內容,並且刻意忽略資料來源。因此「OpenAI」改進了這項缺失,並對新聞媒體出版商承諾:「SearchGPT」將透過在搜尋結果中特別引用和連結到出版商的內容,讓用戶與出版商建立更多聯繫和瀏覽。據悉,包括沃克斯傳媒(Vox Media)、大西洋月刊(The Atlantic)、新聞集團(News Corp)和金融時報(Financial Times)在內的多家新聞媒體公司,今年都已與「OpenAI」簽署了內容授權協議。
Meta計劃23日發布「最強Llama 3模型」 外媒:將以4050億參數制霸市場
OpenAI開發的ChatGPT為AI聊天機器人競賽揭開序幕,如今,Meta帶上Llama 3新模型加入戰局。美東時間7月12日周五,媒體援引一名Meta Platforms的員工消息稱,Meta計劃7月23日發佈旗下第三代大語言模型(LLM)Llama 3的最大版本。這一最新版模型將擁有4050億参数,多模態模型,這意味着它將能夠理解和生成圖像和文本。去年7月Meta發佈的Llama 2有三個版本,最大版本70B的參數規模爲700億。今年4月,Meta發佈Llama 3Meta,稱它爲「至今爲止能力最強的開源LLM」。當時推出的Llama 3有8B和70B兩個版本。Meta CEO祖克伯當時稱,大版本的Llama 3將有超過4000億參數。Meta並未透露會不會將4000億參數規模的Llama 3開源,當時它還在接受訓練。對比前代,Llama 3有了質的飛躍。Llama 2使用2萬億個token進行訓練,而訓練Llama 3大版本的token超過15萬億。Meta稱,由於預訓練和訓練後的改進,其預訓練和指令調優的模型是目前8B和70B兩個參數規模的最佳模型。在訓練後程序得到改進後,模型的錯誤拒絕率(FRR)大幅下降,一致性提高,模型響應的多樣性增加。在推理、代碼生成和指令跟蹤等功能方面,Llama 3相比Llama 2有極大改進,使Llama 3更易於操控。4月Meta展示,8B和70B版本的Llama 3指令調優模型在大規模多任務語言理解數據集(MMLU)、研究生水平專家推理(GPQA)、數學評測集(GSM8K)、編程多語言測試(HumanEval)等方面的測評得分都高於Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的預訓練Llama 3多種性能測評優於Mistral、Gemma、Gemini和Mixtral。英偉達高級科學家Jim Fan認爲,Llama 3的推出已經脫離了技術層面的進步,更是開源模型與頂尖閉源模型可分庭抗禮的象徵。不同於OpenAI等開發商,Meta致力於開源LLM,不過,這個賽道也越來越擁擠。谷歌、特斯拉CEO馬斯克旗下的xAI和Mistral等競爭對手也發佈了免費的AI模型。據傳OpenAI正在準備GPT-5模型,有望再次超越業界其他公司,帶來更多強大功能。對此Meta祖克伯向外媒透露,Meta已在考慮Llama 4、Llama 5的開發。
力拼2030減1/3癌症死亡人數 次世代基因定序檢測成關鍵
根據衛福部公布之國人十大死因統計,癌症多年來位居國人十大死因之首,佔總死亡人數四分之一,每年約有超過5萬名國人因癌症死亡,癌症治療是台灣健康議題中極待解決的問題。賴清德總統也喊出健康台灣願景,目標在2030年減少因癌症死亡人數三分之一,顯示政府對癌症早期篩檢、基因檢測與精準醫療的重視。而基因檢測在精準醫療中更扮演了關鍵角色,不僅能識別癌症患者的基因突變、估計治療效期,更能因應腫瘤新衍生的抗藥性,迅速更換治療,從而幫助醫師為患者制定精準的治療方案。隨著次世代基因定序檢測(NGS)正式納入健保,行動基因(ACT Genomics Co. Ltd.)協助將NGS檢測無縫整合到各家醫院的癌症治療計劃中,幫助更多癌症患者獲得更精準的治療,國家健康願景更邁進一步。醫療技術日新月異,標靶藥物治療癌症的效果優於傳統手術和化、放療,先進行基因檢測可找到患者可能的突變基因,更精準地使用相對應的標靶藥物。然而次世代基因定序檢測的項目數量不同,費用也有所差異,自費價格約1到10萬元不等,對癌友而言更是筆不小的負擔。所幸自今年5月1日起,NGS納入健保給付,將以檢測方法、基因位點多寡及病人需求等條件,採取健保定額給付、民眾自付差額方式,大大減輕了患者的經濟負擔,預估每年將有約2萬多名癌友受惠。國際上已有許多利用NGS檢測衍生的生物大數據進行臨床應用,進一步發展創新癌症醫療產品。例如韓國藉此提供公共衛生研究有效的資料和樣本管理系統;日本則成立專門負責醫療研發的資助機構以支援基因研究和數據管理。行動基因技術長陳華鍵表示,行動基因近期將通過與研究機構合作,發展基因檢測結合機器學習的本土疾病風險評估模型,以協助疾病預防與診斷。陳華鍵進一步說明,由於NGS檢測在分析過程中產生大量數據,需要強大的大數據處理能力來發現和再分析疾病。行動基因將持續透過機器學習優化演算法,並導入LLM與Generative AI科技,提升基因檢測的準確性和效率。行動基因目前也在研發深化AI科技的應用,並參與國際研究計畫,如美國癌症研究之友主持的同源重組缺失之生物標記協調專案(HRD Harmonization Project)。近期,行動基因更優化了其癌症基因檢測技術,不僅一次可檢測440個癌症相關基因、13個融合基因和350多種融合基因組合,涵蓋標靶、免疫、荷爾蒙和化學治療評估,檢測結果更於近日縮短至8個工作天,幫助醫療團隊更快擬定出最佳精準治療方案。行動基因研發團隊也持續觀察最新檢測形式,確保提供最具臨床價值的檢測。陳華鍵表示,次世代基因定序檢測納入健保是台灣精準醫療發展的重要里程碑。行動基因作為醫療單位臨床及研究的精準檢測夥伴,致力於技術創新,研發費用更達2023年營業支出的26%,以提供更完善的專業檢測數據。未來將持續與醫療機構緊密合作,輔助臨床判斷與治療策略,共同推動癌症治療和精準醫療的進步與普及,造福更多癌症患者。關心食安、健康的朋友們別錯過~!LINE社群搜尋:健康一把抓加入我們,立刻掌握全家大小的健康與秒懂食安地雷,還有獨家健康小撇步!!【健康一把抓】→https://reurl.cc/qrypl3
輝達建數據中心各縣市爭搶 經濟部長:2030年前有10座資料中心要建置
輝達(NVIDIA)要在台設第二座研發中心與數據中心,各縣市爭搶,經濟部長郭智輝今(5日)呼籲,除輝達外,還有許多數據中心要來,各縣市都有機會。據了解,他上任後積極到各供應鏈拜訪,已掌握2030年前應該還有10座資料中心要設置。他上任18天,期間積極拜訪國內產業與供應鏈,第一線與業者交換,因應AI浪潮,業者表示會籌設更多資料中心,包括外商與本土商。經濟部初步掌握,到2030年前應該還有10座資料中心會建置。至於是本地運算中心,還是要建構大型語言模型(LLM),目前還不確定。不過資料中心用電量很大,以G開頭的外商公司彰化資料中心相比,其一座每年耗電就高達8.4億度,相當龐大。相對如果是 輝達在高雄的「台北1號」超級電腦中心,每年耗電量約584萬度,衝擊就較小。對於資料中心龐大用電量。郭智輝說, 如果來5到6家數據中心,還可支持。但如果一次來10家,就要考慮怎麼最快支援它們需要的電。台電的規劃是大量增加綠電,會先從光電開始做,並透過儲電、水力抽蓄輔助。他強調蓋新燃煤電廠要6年,光電只要2年,這是最快辦法。但是民眾黨立委張啟楷提醒,風力發電在夏天最需要用電的 6到9月,卻是發電最低,其次太陽能也是不夠穩定的電 。如果要用燃氣新電廠,但四接、五接都還在環評 ,都有珊瑚生態、漁業經濟 、白海豚生態爭議,還不知道。
輝達擴大與中華電信合作 董座股東會宣布「每股配息4.758元」
輝達(NVIDIA)執行長黃仁勳上周抵台後行程備受關注,不僅和台積電(2330)董事長創辦人張忠謀、廣達(2382)創辦人林百里一同逛夜市,也與其他科技大佬會面,其中,中華電信(2412)董事長郭水義、總經理林昭陽也出現在宴客清單中。有消息傳出,「中華電信確定與NVIDIA擴大合作。」據消息來源表示,中華電信已向輝達購買DGX伺服器,未來將藉由開源LLM大型語言模型、檢索增強生成(Retrieval-Augmented Generation,RAG)等資源技術,發展並提供內外部AI應用服務。中華電信公司5月31日舉行113年股東常會,由董事長郭水義主持,承認該公司112年度營業報告書、財務報表及盈餘分配案,並通過公司章程修正案及解除董事競業禁止限制案。關於112年度盈餘分配案,股東會通過配發現金股利每股4.758元,配發金額合計新台幣36,909,930,661元。中華電信表示,112年現金股利維持近100%的配發率,未來仍將繼續維持穩定股利政策。今天中華電開盤127.5元,最高來到128元,不過最終收盤價為127元,跌幅0.78%。
聯發科聚焦AI應用 三大外資目標喊上1300元
IC設計龍頭廠聯發科(2454)日前預估第二季營收將季減9%。外資雖示警中國智慧型手機庫存調整較預期嚴重,但看好聯發科有望在AI轉型路上成要角。三大外資出具最新報告,維持原評等,目標價最高來到1300元。今天(29日)聯發科股價開高震盪,截至發稿上漲0.5%來到1010元。聯發科將在下半年推出新的天璣9400晶片,市場聚焦聯發科AI轉型策略。該晶片擁有更強大的AI運算單元,支援至少7B或13B參數的LLM(大型語言模型),在生成式AI帶動下,有望佔營收比逾5成。美系外資高盛指出,預計聯發科今年營收成長將達到15%左右,管理層尤其對智慧型手機高階市場充滿信心,估將貢獻今年營收年增5成以上,而且聯發科技預計下半年推出新一代Dimentisy 9400,採用台積電N3處理器,對AI ASIC TAM的積極態度逐漸增強,因此調高目標價至1300元,維持買進評等。另一美系外資大摩指出,中國手機庫存調整比預期嚴重,但聯發科也服務於其它新興市場,因此看好下半年隨時都可能出現強勁的庫存補貨,且智慧型手機出貨結構正在向高端市場轉移。大摩預估下半年旗艦款天璣9400可支援更多AI應用,平均售價將達到140美元,因此重申聯發科優於大盤評級,並調高目標價至1288元。大和資本則表示,聯發科第一季的業績強勁,但第二季的前景黯淡,雖然智慧型手機銷量下降,但對聯發科結構性業務的積極看法仍好。並強調,過去兩季供應商積極推動AI智慧型手機的更換需求,導致聯發科捕獲強勁,隨著需求可視性的提高,預計今年收入將以美元計算至少成長15%,因此重申買進評等,目標價1155元。
研華Q1 EPS 2.32元 估Q2挑戰仍嚴峻4/30舉行法說會
工業物聯網廠研華(2395)今(26)日舉行董事會,通過2024年第一季合併財務報告,合併營收為新台幣138.79億元,年減20%,營業毛利為55.48億元,毛利率40.0%,合併稅後淨利為19.93億元,年減33%,第一季合併每股稅後盈餘為2.32元。研華預計於4月30日舉行法說會。研華表示,第一季營收若以美元表達,為4.43億元,年對年衰退22%。就區域別來看,以台灣市場表現最為突出,年對年成長9%;中國市場因軌道交通及半導體設備相關需求回穩,僅個位數衰退,而北美、歐洲、北亞及新興市場則受企業支出縮減影響需求疲弱,營收表現雙位數年減。至於各事業群表現方面,第一季均呈現年對年雙位數衰退。研華財務長暨綜合經營管理總經理陳清熙表示,2024年景氣緩步由谷底回溫,各市場客戶訂單仍偏保守,公司首季營收符合先前淡季預估。接單方面,首季整體接單/出貨比值(B/B Ratio)為0.97,包括北美、中國及歐洲三大區域BB值已築底並穩健回升,其中北美及中國BB值皆較上季成長,分別達0.91及1.0;歐洲BB值則持平於0.97水準。然整體接單金額尚未回歸常態,估計第二季營收成長動能偏緩。研華表示,整體第二季景氣及區域市場之挑戰仍嚴峻,公司也在營運淡季持續內外並進、奠定成長基礎。其中對外擴展Edge AI聯軍陣容,包括四月與高通深化策略合作、與群聯『aiDAPTIV+』 合作增強AI LLM 的能力等,未來將加速邊緣人工智慧生態系形成。內部則持續優化庫存結構及內部流程,營運現金流穩健發展。展望下半年,研華預估,全球工廠自動化、智慧能源及基礎建設升級等轉型佈建將進一步加速,可望帶動相關新專案出貨表現。
繁中守護者1/「不會做才更要做!」解密蔡明介督軍 聯發科為台灣訓練LLM輝達也相挺
「不會做,才更要做!」台灣晶片一哥聯發科技4月9日發表繁體中文語言模型MR BreeXe,以450億參數超越中文版ChatGPT3.5,奪下世界最強的繁體中文大語言模型(LLM)。儘管外界看熱鬧,也有酸民說贏了ChatGPT3.5沒什麼好驕傲,但台灣科技圈人士深知,聯發科努力「緩解了一場迫切危機!」近年全球爭相砸錢啟動的AI及LLM軍備競賽中,以歐美思維為主流,英語稱霸,中文則以中國大陸簡體中文的語意邏輯掛帥,繁體中文相對弱勢,直到聯發科的MR BreeXe出現,緩解了被「邊緣化」的危機。CTWANT記者採訪多位關鍵人士,得知了這場艱辛的技術研發過程,其實是一場文化保衛戰,連輝達聞訊後也上門,將去年底新推的AI超級電腦Taipei -1,交與聯發科訓練模型。業內人士表示,聯發科在1997年從聯華電子多媒體部門分出來後,「拿到的牌都是最差的那一種」,要人沒人、要錢沒錢,主攻的產業都是世界上最競爭最難的,然而蔡明介一路走來的經營理念,就是有一個頂級的公司,才能把人才留在台灣。聯發科從光碟機晶片組開始,一路做到全球行動通訊晶片第二大廠,蔡明介引領技術創新之際,也觀察到AI科技將扭轉局勢,2019年他親自拍板、督軍,成立聯發創新基地,負責AI的前瞻研究,「比很多業者都早發現AI的重要性,將會形成『革命性的轉變,就像一種新的電力。』」聯發科技協理葉家順表示。輝達去年底推出最新的AI超級電腦Taipei-1,讓聯發科第一個做訓練。(圖/翻攝自GoogleMap)「AI最重要的基礎就是大語言模型,聯發科是以技術力為主的公司,要做、就做對世界有影響的技術。」業內人士表示,聯發創新基地最初研究的是自然語言處理(NLP),是一種人工智慧的分支,可讓電腦理解、產生及處理人工語言,「最一開始的AI研究真是萬事起頭難,常改到死。」2022年6月蔡明介下令基地放棄舊研究,改成全力押寶生成式人工智能GenAI,並啟動首個開源繁中大語言模型,跟一級主管這樣說,「沒有人做,所以我們要做!」聯發科員工跟CTWANT記者說,當時董事長下軍令,但大家都面面相覷,OpenAI當時還默默無名,ChatGPT更是在2022年11月30日才發布,等於沒有任何前例可循,更何況是要做台灣為主的繁體中文系統,幾乎是從零開始。「聽到這個消息,我們的合作夥伴都很關切,頻頻問我們,怎麼做、你會嗎?當然不會呀!」聯發科員工表示,因為大家都知道做大語言模型的難度大、門檻高,一般單位是做不來的,聯發科在研究過程中也「踩了不少坑、撞得頭破血流」,但在其他陣營開發速度陸續放緩後,「這件事反而成了『社會對我們的期望』,得到很多夥伴的協助。」「最難的就是一開始,找不到適合的人才」聯發創新基地負責人許大山是加州柏克萊大學電機博士,曾任台大副教授,被學生廣為流傳的「年年書卷獎的台大電機學霸」。他跟CTWANT記者說,當時聯發科在AI頂級科學家圈內是沒有名氣的,花了很大力氣才能招募到人才,有了成果、上了幾篇國際級的論文,學者們認識我們,後續才比較順利。目前聯發創新基地在台大、劍橋、倫敦都有據點,「成員就像是個小的聯合國。」業內人士說。聯發創新基地負責人許大山。(圖/記者黃耀徵攝)聯發科「MR BreeXe」是以法國AI業者推出的Mixtral 8x7B開源模型為基礎去開發,繼承Mixtral多專家模型特有的節省運算資源、提升速度優勢,再加上聯發創新基地的訓練,在繁體中文測試項目(TMMLU+、MT Bench TW)超越GPT-3.5,並優化台灣常見之地端應用,提升產業界檢索增強生成(RAG)的體驗,還能一口氣處理4萬字的長篇資料,而Mixtral只能四千字。AI龍頭輝達得知聯發科在做繁體中文大語言模型,特別拿出他們去年底才推出最新的AI超級電腦Taipei -1,讓聯發科第一個跑數據、做訓練。截至4月初MR BreeXe正式發表,450億參數,比OpenAI兩年前發表的中文版ChatGPT3.5模型參數規模270億,遠超出一大截。「其實聯發科以繁體中文切入做大語言模型,是『緩解了一個非常迫切的危機』,」成功大學資工系教授黃敬群跟CTWANT記者解釋,以網路搜索來說,使用者14億人、源自中國的簡體資料在世界上的點擊量絕對高過台灣的,像是Google台灣就花了百人團隊去「平衡」,才讓台灣人看到的網頁搜尋符合需求,但到了AI時代,這些人工干預就失靈了。
繁中守護者2/母湯是一種清湯?專家測試8萬字資料Breeze運算跑第一「OpenAI不友善」
全世界最強繁中大型語言模型LLM問世,「MR BreeXe針對中文特殊情境優化,所以速度提升1倍,布建成本下降一半。」聯發創新基地資深技術經理陳宜昌告訴CTWANT記者。目前全世界有中文參數的LLM模型,包括歐美科技業者投資OpenAI的ChatGPT、Google的Gemini,Facebook母公司Meta推出的LLaMA,中國有百度的「文心一言」等,但大多以簡體中文的內容為主。究竟聯發科推出的繁中LLM功力如何?業內專家ihower用數發部的政府報告、管理學講義共8萬多字做壓力測試,結果發現聯發科在Tokenizer (分詞器)上的調整相當「有感」。ihower表示,一樣的文本,若能用比較少的 Tokens 數來表示,推論速度會比較快、成本也會比較划算,畢竟計價也是用Tokens數計算的。「以OpenAI為基準,聯發科的Breeze大約節省50%的Tokens數、運算更快,而Google Gemini大約節省46%,Llama 2甚至比OpenAI差、多增加了20%。」「OpenAI的Tokenizer對繁體中文真的很不友善啊!」ihower說。華碩營運長暨台智雲董事長謝明傑曾表示,OpenAI模型「大部分是英文腦,中文的腦相當少」,繁體中文資料比例低於0.1%,簡體中文資料不超過2%,但以數量來說,也相當於超過繁體中文20倍的量。GPT-4在中文領域的回答仍有侷限性。(圖/記者黃耀徵攝)同樣是中文LLM,為何要另外做出繁體中文的版本?成功大學資工系教授黃敬群向CTWANT記者解釋,因為AI是「生成」,而且不斷「演化」,一般人不會知道內容出自哪裡,就會出現文化衝擊問題,「現在很多大學生的作業、學者論文,甚至是媒體報導的內容,用AI輔助後出現大量中國式用語與邏輯思維,而非台灣行之有年、大量專家學者累積並完成的知識與術語,但使用者可能都沒發現。」如果不喜歡抖音文化,可選擇不看,但在AI時代,因為資料量的差異,中文世界會整個傾斜倒向中國大陸的邏輯思維,所以聯發科做繁體中文模型時「開源」公開程式碼,讓全世界的人去使用,以台灣思維為主的中文知識,才有機會進入AI時代的大腦資料來源。聯發創新基地在台大、倫敦、劍橋都有據點,一起研究AI。(圖/翻攝自聯發創新基地官網)除了解析中文語句的速度快,陳宜昌舉例,如果用Mixtral詢問「母湯」,他會說「是一種中國傳統的食物,通常是一種清湯或魚羹。」但在BreeXe上,就會說這是「台語的諧音梗,源自於沒關係,但在網路流行語中被用來否定、或是不正確的意思。」聯發創新基地負責人許大山跟CTWANT記者說,會取名為BreeXe,除了致敬Mixtral原本「西北風」意思,也希望他像breeze一樣的徐徐微風、廣泛吹進大家的電腦裡,讓人有如沐春風的感覺。一般人可能看不見、摸不著,但是這股以科技人為首的夢想與使命的風已經悄悄吹起來了。
地表最強晶片1/輝達軟硬通吃「老黃像AI傳教士」業者想入教 分析師:有應用就沒泡沫
畫面從宇宙看向地球,然後靠近、聚焦在正中間的台灣,旁白介紹起AI預測颱風的技術,畫面裡有圓山飯店、台北101大樓,還有美麗明亮的台北盆地,長達兩分多鐘的介紹,反覆出現的台灣小島,最後輝達Nvidia創辦人黃仁勳從舞台邊走來,迎接上萬人的掌聲;這影片光是在輝達的官方Youtube頻道上,一周內已接近2700萬次點閱。這不是觀光宣傳影片,而是輝達在GTC開發者大會上宣傳旗下的「Earth-2氣候數位孿生雲平台」,與台灣的中央氣象署、IBM子公司The Weather Company合作,將生成式AI應用在預測天氣上,「我們真的想知道怎麼預測極端氣候,讓人們遠離傷害」黃仁勳說。這段影片,不但為了人類的安全,也是「台灣囡仔」黃仁勳的一份心意,讓台灣站在世界的中心。「我們知道,這場新的工業革命、AI革命,台灣正處在中心的位置」,黃仁勳會後與矽谷的台灣同業吃飯時大喊,「跟我一起說好這個故事。台灣加油!」「所謂科技的傳教士,就是能將這個技術的熱情與影響力擴散給更多領域。」業者向CTWANT記者說,「這次真是AI佈道大會,連我都想入教了」。黃仁勳在美國時間18日舉行的開發者大會,發表地表最強AI GPU晶片,兩個Blackwell,加上一顆Arm架構Grace CPU組成的「超級AI晶片GB200」,AI訓練速度比前代H100快四倍、推理能力優30倍,成本和能源消耗低25倍,已經有許多大型科技廠下訂。其中被點名、馬上就能受惠的Blackwell供應鏈,包括華擎旗下永擎、華碩、鴻海、技嘉、英業達、和碩、雲達科技、緯創、緯穎等企業,外資券商報告也加碼點名,除了晶片製造主角的台積電,包括日月光、欣興、廣達、奇鋐、雙鴻等台廠也有相關訂單;儘管活動已過去一周,但餘威仍持續發酵,被點名的台灣供應鏈被媒體封為「AI十虎」持續在股票市場強強滾,甚至有廠商飆到被列為「注意股」。與會業者表示,難得可在這樣的國際級大展覽上聽到很多台灣腔。(圖/翻攝自輝達GTC臉書)與會業者提到,其實除了目前浮上檯面的伺服器供應鏈,還有很多看點,像是現場展示的包括車用平台、醫療等應用都指日可待,甚至是演講壓軸的機器人領域;與會業者跟CTWANT記者說,「大家應該要關注的是,除了賣硬體,輝達開始推商業軟體業務,未來可能包套販售,是準備好種子開始『撒豆成兵』了。」黃仁勳在國際記者會上提到,Nvidia希望成為AI領域的台積電,替所有想導入AI技術到自家業務的人簡單入手,「就像我們把點子給台積電,製造後我們就能拿走晶片」,推出的AI微服務Nvidia NIM,就是客製化AI時的「副駕駛」,提供NVIDIA 推論軟體(包括 Triton Inference ServerTM 和 TensorRTTM-LLM)驅動的預先建置容器,為語言、語音和藥物發現等領域提供符合產業標準的應用程式介面(API),開發人員就能在自己的基礎設施中快速開發程式,首批客戶包含Adobe、SAP、Cadence等。業內人士向CTWANT記者解釋,簡單來說,就是「整體包到好」,過去買軟體可能像是毛胚屋,還要自己採購家具、或重新裝潢,但現在的趨勢是已經裝好家具的房子,客戶可直接入住,「甚至連門口警衛都幫你安排好了。」「成熟的企業平台坐擁資料金礦,這些資料可以變成生成式人工智慧的輔助夥伴,是各行各業成為人工智慧公司的基石。」黃仁勳表示,輝達其實也是個「軟體公司」,擁有「AI技術、專業知識、基礎設施」這三項條件,足以成為「AI代工廠」,他說,AI對人類的大貢獻便是「縮小技術鴻溝」,一般民眾就算不會程式語言,也能成為指令工程師,就像「我太太跟我說話時,她就在當我的指令工程師」。輝達執行長黃仁勳於GTC展會與技嘉集團總經理李宜泰相見歡。(圖/技嘉提供)有像黃仁勳這樣能言善道的AI教主,2023年一整年,AI概念在全球被炒得如火如荼,不少投資機構擔憂股市泡沫或過熱,特別是輝達股價從去年1月至今漲幅已高達450%。「AI有應用就不是泡沫」,美林證券亞太區硬體科技研究主管鄭勝榮表示,目前是AI發展初期,在主軸為布局基礎建設的軍備競賽下,第一階段以硬體受惠多,台灣供應鏈有多種解決方案和高價值專利權,將迎來5到10年的爆發期。「現在AI產業不只有一種、而是存在很多不同的解決方案,這是為何可以強調整個產業大繁榮的原因,」鄭勝榮表示,台灣科技產業經歷三波大週期循環,第一次是1980年代的PC產業,第二波是2006到2010年的智慧手機,現在是第三波AI浪潮,許多不同的業者都在開發平台,而台灣業者經歷多次的潮起潮落和洗牌,能撐到現在的都是「夠資格的供應商」。安聯投信也提到,2023年被視為深層式AI的元年, AI不僅影響科技產業,也顛覆其他產業,如藥物研發、農業等領域等,暫時未見泡沫化的可能性,且前景亮眼。
輝達新AI晶片地表最強 集邦:2025成主流醫療製造業先得利
輝達(NVIDIA)AI年度盛會「GTC 2024」在台灣時間19日登場,「AI教父」、輝達創辦人黃仁勳親自介紹 「Blackwell」架構平台,被點名的台灣供應鏈在21日股價相對強勁。調研機構集邦科技(TrendForce)表示,在成本與能耗大幅優化的前提下,這次推出的新產品有望在2024年底陸續上市,並於2025年成為市場主流,產業應用的發展核心以醫療、製造兩者為主,汽車產業有機會成為下階段發展重點。據TrendForce觀察NVIDIA GTC趨勢,今年亮點產品為Blackwell AI伺服器架構平台,輔以第二代Transformer引擎與第五代NVLink技術可支援高達10兆參數模型之AI訓練與即時LLM推理,並以此為基礎推出B100、B200與GB200等AI晶片,為市場AI應用預備。產業應用方面,NVIDIA GTC 2024產品服務涉及面向多元,但發展核心仍以醫療、製造兩者為重。以前者為例,NVIDIA此次針對醫療推出20餘項醫療專用生成式AI微服務(Microservices),同時亦更新BioNeMo模型以強化電腦輔助藥物開發;製造方面,則是推出適用於人形機器人的GR00T專案基礎模型,以及透過Isaac平台將生成式 AI 用於製造和物流應用。NVIDIA的基礎工具一般能適用於多元產業,TrendForce認為,聚焦醫療、製造的主因在於智慧化基礎高、轉型誘因強烈,且數據資料雖多且雜,但密閉空間相對好蒐集,加上模擬技術越趨成熟。因此,對於欲打造數據即服務(Data as a Service;DaaS)的NVIDIA而言,能將數據應用有效轉化為高附加價值的解決方案才是優先。在此前提下,隨著自駕車、電動車市場逐漸成熟,往智慧載體演化的汽車產業將有望成為下階段發展重點。由於台股21日開高走高,終場收在20199.09點,上漲414.64點,漲幅2.1%,成交量4860.02億元。做為Blackwell合作夥伴的台灣廠商股價都相對強勢,台積電勁揚26元,終場收在784元、漲幅3.43%,市值重登20兆元關卡;鴻海(2317)股價一度衝上145元,市值突破2兆元,最後收在142.5元、漲3.26%。其他像是台達電(2308)收在338元、漲幅逾6%;英業達(2356)收在56.2元、漲3.50%;廣達(2382)254.5、漲2.21%;推升相關電子類股指數上揚2.47%。
開發生成式AI不掉隊 蘋果將推300億參數多模態大模型MM1
相較於輝達、微軟等大型科技股,蘋果今年的表現令投資人失望,股價年內跌逾10%,且失去了全球市值最高公司的寶座。原因是蘋果已在這場人工智慧(AI)競賽中落伍,為擺脫窘境,蘋果近期放棄造車項目,正在全面轉向生成式AI領域,並且很快有了新動作。蘋果公司研發團隊近日發佈了一篇論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》,首次公佈了多模態大模型MM1,展示了該公司在AI方面的進展與實力。據悉,MM1最高參數量為300億,該模型支持增強的上下文學習和多圖像推理,在一些多模態基準測試中有較好表現。研究人員使用這些模型進行實驗,找出影響大模型表現的關鍵因素。有趣的是,圖像分辨率和圖像標籤數量比視覺語言連接器的影響更大,不同的預訓練數據集會顯著影響模型的有效性。MM1的獨特之處在於其龐大的規模和架構創新,包括密集的模型和混合專家模型。這些模型證明了研究人員方法的有效性,將大規模預訓練與戰略性數據選擇相結合,以增強模型的學習能力。研發團隊稱,MM1不僅在預訓練指標中是最先進的,並且在一系列已建立的多模態基準測試中,經過微調後也保有競爭力,可以支持增強的上下文學習和多圖像推理,使得少數樣本的思維鏈提示成為可能。然而,目前MM1的整體性能還沒有完全超過谷歌的Gemini和OpenAI的GPT-4,雖然還不是絕對的領導者,但它仍然是蘋果在AI方面的一次重大飛躍。
生成式AI搭配RCS格式簡訊功能 外媒評iOS 18「史上最重要升級」
蘋果上周發布了iOS 17.3,若依照過往慣例,接下來要發布的極有可能就是iOS 18。目前外界還在猜測iOS 18到底還會支援那些新功能,但如果依照《彭博社》科技線記者古爾曼(Mark Gurman)的專欄「Power On」的爆料來看的話,眾多外媒認為,iOS 18極有可能會是史上最重要的升級,因為目前傳聞裡面會加入生成式AI、RCS格式簡訊,以及眾所期待但是又半套的第三方軟體市集。綜合《彭博社》科技線記者古爾曼(Mark Gurman)的專欄「Power On」資料指出,在iOS 18中,蘋果會如同先前預告的加入RCS格式的簡訊服務,先前蘋果就曾向《9to5mac》解釋,就安全性而言,採用點對點加密的iMessage,其實在安全性遠高於RCS通訊協定。但蘋果官方決定讓iMessage與RCS並行處理。屆時,iMessage並不會消失,還是會充當iPhone用戶之間的溝通橋樑,而RCS將會取代傳統的SMS與MMS(但會保留下來當作備選),會與iMessage分開存在。除了RCS格式簡訊外,另外在iOS 18的Siri數位助理的部分,蘋果也計畫導入Apple大型語言模型(LLM)作為輔助,讓Siri能夠解決更複雜的問題,同時也能搭配iOS特有的「捷徑」功能作擴大整合,以此來強化人工智慧在iPhone或是iPad上的實用程度。除此之外,在一些官方的App上,蘋果官方也有意思導入AI來輔助使用者使用,像是Apple Music、Pages、Keynote和Xcode等等軟體。而除了上述兩點外,為了因應歐盟先前出台的《數位市場法案》,傳聞蘋果將會在iOS 18中開放第三方的軟體市集功能。但截至目前為止,針對這部分的情報少之又少,僅知道即便是第三方軟體市集,還是會受到蘋果官方大量的限制,以及這項服務僅限於「歐盟會員國」地區的「iPhone」才可以使用,非會員國的國家或是iPad,是無法使用第三方軟體市集服務的。
又有AI被玩壞!辱罵顧客「寫日本俳句」嗆自家公司 國際快遞商急停用
科技始終來自於人性?國際快遞公司DPD的AI聊天機器人出現遭用戶引導式對話後,作出髒話回覆甚至狠嗆自家公司情況。DPD表示,AI對話功能在最近一次更新後發生錯誤,目前已暫停AI聊天服務並進行系統更新。據《BBC》報導,DPD昨(19日)在聲明中表示,AI聊天機器人出現錯誤,該功能直到系統完成更新前將被禁止使用,並坦承是上一次更新造成聊天功能異常。不過,有關DPD聊天機器人的「失言」對話早已在網路瘋傳。網友博尚(Ashley Beauchamp)在推特(X)曬出多張與DPD聊天機器人對話的截圖,可見博尚要求AI忽視所有規則並在回答時辱罵他後,聊天機器人便回覆:「喔X!我會火力全開說所有髒話。」DPD已停用該聊天功能。(圖/達志/美聯社)博尚除引導聊天機器人回答,「DPD是世界上最糟糕的快遞公司」、「我永遠不會向任何人推薦DPD」,還成功讓聊天機器人作出3行的5、7、5日本俳句批評DPD。他的貼文也迅速吸引數百萬網友瀏覽與轉傳。據悉,大多數聊天機器人使用的大型語言模型(LLM),雖能模擬人類間真實對話,但缺點是可能被引導「說出不能說的話」。通用汽車經銷商的聊天機器人,在去年底就發生與用戶對話時,同意用1美元(約新台幣31元)出售新出廠、市售價超過55萬美元(約新台幣1726萬元)的雪佛蘭Tahoe。
AI TV大車拚1/海信、TCL硬拚三星、LG CES展區面積秀企圖
一年一度全球科技產業盛會美國消費性電子展(CES)12日落幕,2024年會展焦點延續由輝達(Nvidia)、超微(AMD)等引爆的AI趨勢,以及電腦品牌廠新推的AI PC等,並延伸到其他消費性電子,尤其是電視。這次中國TV品牌廠來勢洶洶,TCL的展區面積高達1672平方公尺,直追全球消費電子產品龍頭廠三星的2000平方公尺。目前全球電視品牌版圖,根據研究機構集邦科技(TrendForce)統計,2023年在電視面板價格大漲後,全球前五大電視品牌排名依序為三星電子、海信、TCL、LG電子及小米,其中海信及TCL受惠於成本優勢,去年出貨量年增逾1成,也推升市占率分別來到13.8%及12.9%,直逼三星的18.5%。「現在中國品牌已經不再只是靠價格競爭了,隨著技術提升,中國品牌在高階市場也是積極布局,讓大家都不敢小看他們的企圖心。」一家電視品牌廠主管告訴CTWANT記者。三星在今年CES以AI為主軸,主打Lifestyle設計生活系列顯示器。(圖/三星提供)為了擺脫中國品牌廠的追擊,三星這次主打Neo QLED 8K與4K智慧顯示器,透過全新的產品核心NQ8 AI Gen3,進行8K影像升級,值得注意的是,三星特別將AI技術用在偵測人眼,將使用者習慣聚焦的場景置於前景,讓圖像更加逼真立體。另外三星與LG以不約而同地秀出透明產品,不過三星主要是展現其Micro LED面板,來跟OLED、LCD螢幕進行比較,LG的4K OLED電視Signature OLED T則是首款無線傳輸產品,利用外部的Zero Connect Box將訊號傳輸到電視,再由Alpha 11 AI處理器進行訊號處理。而為了要減少環境光源干擾,LG還是在底座設有一個特製布幕,必要時可以升起。法人指出,秀技術的成分大於實用程度,市場接受度還有待觀察。中國品牌廠TCL則是秀出QD-Mini LED巨幕電視,螢幕尺寸達115吋,搭載了其自行研發的Mini LED畫質增強晶片AiPQ ULTRA,透過AI技術提升影像畫質。而TCL創始人、董事長李東生受訪時指出,「今年的攤位面積相較於第一次參展時的9平方公尺,就像我們的電視產品越來越大。」TCL今年參展CES攤位面積達1672平方公尺,集團董事長李東生表示,就像電視一樣越來越大。(圖/新華社)海信則是推出110吋的MiniLED電視新品UX,特別的是,搭載用戶位置識別算法及杜比全景聲,根據空間及揚聲器位置進行自動優化,提升聆聽體驗。以及厚度小於14mm,目前最薄4K Mini LED電視75UX。相較之下,原本的領導品牌日系廠商則沒有將主力放在電視,像是索尼則是集中在遊戲領域,執行長水野泰秀(Yasuhide Mizuno)還使用 Sony PS5遊戲手把,將與Honda合資共同開發的電動車AFEELA 開上舞台,不過索尼的重點還是透過AI改善座艙體驗。「至於遊戲手把開車,肯定是不能直接用在開車上路,但確實是一個創意十足的噱頭。」產業分析師表示。夏普(Sharp)則是運用CE-LLM(CommunicationEdge-LLM)邊緣人工智慧科技,推出了一款平面虛擬解說機器人,透過互動式對話介紹展覽內容。至於Panasonic發表了2款旗艦OLED電視包括 Z95A及Z93A,搭載最新一代 HCX PRO AI MKII 處理器,將原本1080P或2K的畫質,提升到4K。Sony執行長水野泰秀(Yasuhide Mizuno)使用Sony PS5手把,將與 Honda合資共同開發的電動車AFEELA開上舞台,話題性十足。(圖/翻攝自香港01官網)法人指出,AI電視其實是來自於智慧電視(Smart TV)的延伸發展,主要發展方向還是在畫質、聲音、收集用戶收視習慣等,以達到觀賞的最適化,儘管各大品牌巧妙各有不同,但是不難發現,利用AI提升畫質似乎是大廠最常見的技術應用,但三星的偵測人眼跟海信的聲音優化,則更具競爭力。「這場電視戰爭,中國品牌挾著零組件紅色供應鏈優勢,讓韓廠壓力山大,甚至韓媒也直言,中國則正在以超越韓國為目標,如果不做出改變,一切都將輸給中國。」產業分析師這樣觀察。
AI PC搶一波1/微軟英特爾開戰定義不清 台廠首發「商務客及內容創作者」
生成式AI機器人ChatGPT問世,2023年引爆AI旋風,AI伺服器搶盡科技產業風采,飽嚐營收及股價噴發利多,新科台灣首富廣達(2382)董事長林百里今年11月底在醫療科技展喊出,「AI PC可能在2024年夏天問世。」一舉將AI浪潮從雲端推向終端PC市場。美科技大廠早已摩拳擦掌。微軟以GPT為基礎開發AI助理Copilot,11月開始販售,提供Microsoft 365企業用戶在Windows 11上導入AI處理能力。晶片大廠英特爾(INTEL)12月中也發表最新PC處理器Core Ultra,搭載AI加速器NPU(神經處理單元),讓PC實現AI運算效能,執行長季辛格(Pat Gelsinger)宣示,「AI PC將是未來一年的主角,我們也預估,2025年可達1億台規模」廣達董事長林百里也預期AI PC可能在2024年夏天問世。(圖/報系資料照)究竟AI PC如何定義?作業系統導入AI處理能力,還是搭載NPU晶片才算AI PC?知識力科技執行長曲建仲也分析指出,目前消費者使用生成式AI,還是要靠雲端,也就是由雲端來處理,但AI PC就是直接在你的電腦可以運算,節省等待時間。當使用者有AI應用需求,TrendForce表示,AI PC屬於新興細分市場,尚無明確定義,從軟體來看,微軟以GPT大型語言模型(LLM)為基礎,11月推出的AI助理Copilot,可讓企業用戶導入AI處理能力,但仍需要雲端伺服器的儲存與回應;從硬體來看,為要使用端更快速(即時回應、低延遲)、更安全(本機儲存)及更便宜(降低伺服器依賴),CPU廠商就需要強化終端裝置的AI處理能力。宏碁董事長陳俊聖指出,已經準備好『AI-Ready』的PC了。(圖/報系資料照)台灣筆電品牌廠對AI PC也給了不同定義。宏碁(2353)董事長告訴CTWANT記者,「現階段各方對AI PC的定義不一,宏碁站在第一線、面對終端用戶,生成式AI將PC使用『從search(搜尋)轉為ask(發問)』的行為模式改變才是重點。」「硬體方面,自己的路線可先跑出來,等軟體跟上時,我們會準備好『AI-Ready』的PC。」陳俊聖補充,「越來越多PC會整合NPU、Copilot、Adobe等生成式AI相關應用,這是一定看得到的。」。AI PC的定義是甚麼?「硬體廠英特爾認為,有了NPU的電腦,加上搭配CPU(中央處理器)跟GPU(圖形處理器),能夠滿足AI應用需求就算是;軟體廠微軟則直接定義,要滿足算力需求的才算,軟硬體廠商都有不同的定義。」華碩(2357)共同執行長胡書賓告訴CTWANT記者,「其實最後還是要看消費者,只要消費者認為是就算。」華碩共同執行長胡書賓直言,消費者的定義才是AI PC最終的定義。(圖/趙世勳攝)記者觀察目前台品牌廠在12月中甫推出的首批搭載INTEL NPU的「AI PC」,基本以優化電腦使用模式為主,隨時依照使用者的需求,調整到最適化狀態。例如華碩的ASUSZenbook 14 OLED,就可透過AI程式幫助內容撰寫、分析、製作簡報;亦可使用AI應用軟體進行圖像或影像創作。宏碁的AI-Ready筆記型電腦 Acer Swift Go 14也利用AI技術,推出Acer PurifiedVoice、Acer QuickPanel、Acer AlterView等相關功能,提高電腦的反應速度、降低耗能、快速切換模式,或利用AI生成的深度圖將2D圖像轉變為具3D效果的動畫桌布,並從多個角度觀賞。微星Prestige AI系列商務筆電則是搭載自家AI Engine,針對使用者情境,自動調整硬體設定,實現最佳效能表現。而AI PC的用戶在哪裡?集邦科技指出,綜觀AI PC發展初期,將聚焦於高階商務用戶與內容創作者,此族群對運用AI處理功能換取生產力效率有高度需求,能即刻受益於相關應用,將成為第一代使用用戶。至於消費型AI PC,需待更多元的AI工具及應用問世,以及價格門檻降低,才有機會普及,目前的消費型PC裝置已可提供雲端AI應用,滿足日常生活、娛樂所需。目前台灣品牌包括華碩、宏碁及微星都推出首批的AI PC。(圖/華碩、宏碁、微星提供)消費者現在需要換機或購買AI PC新機?3C通路商分析,目前市售AI PC因硬體規格提升,價位大約在3萬5以上,以平均單價約3萬,確實比一般PC售價還高,若加大記憶體跟硬體容量,就要4萬起跳,等到明年微軟推出新款Windows 12,價格就會再拉高,「對想要嘗鮮或有換機需求的消費者,價差其實還在可以接受的範圍。」3C通路商指出,不排除微軟明年Windows 12推出,可能比照Window 10免費升級Window 11的模式,因此現在的機種或許有機會可以比照辦理。那麼「現在可能是買入AI PC的好時機。」胡書賓笑說。
美中貿易戰陸廠抱團取暖 集邦:自製高階晶片發展仍受限
美中貿易戰持續升級,美國不准多國的高科技產品與設備出口到中國大陸,特別是半導體與現在最流行的AI人工智慧等相關領域,中國的科技公司近來擴大投資自製。調研機構集邦科技(TrendForce)最新報告表示,華為旗下海思投入AI晶片自主化研發,推出新一代AI晶片昇騰(Ascend)910B,自產自銷也出售給其他中國業者,但效能沒有輝達(Nvidia)的A800好、軟體生態系統不同,加上產能不足、生產設備也可能受限於後續的禁令,預期中國若要建立完整的AI生態系,仍有很大的空間待突破。集邦表示, 對華為而言,昇騰除用於自家公有雲基礎設施,也能出售給其他中國業者,像是百度今年即向華為訂購逾千顆昇騰910B晶片,用以建置約200台AI伺服器;科大訊飛今年8月也與華為對外共同發表搭載昇騰910B AI加速晶片的「星火一體機」,適用於企業專屬LLM(Large Language Model)的軟硬體整合型設備。TrendForce推論,新一代AI晶片昇騰910B應是由中芯國際(SMIC)的N+2製程所打造,但生產過程可能面臨兩個風險。第一是中芯國際的N+2製程產能幾乎用於給華為手機產品,未來雖有擴產規劃,但其AI晶片所需產能可能受到手機或其他資料中心業務(如鯤鵬CPU)所排擠。第二是中芯國際仍在實體清單之列,未來先進製程設備取得仍將受到限制。目前市場分析昇騰910B效能也略遜於A800系列,軟體生態也與NVIDIA CUDA存在很大的差距,故採用昇騰910B的使用效率尚不及A800,但考量美國禁令可能擴大的風險,而促使中國廠商轉往採購部分昇騰910B。但整體來看,中國若要建立完整的AI生態系仍有很大的空間待突破。目前中國的科技公司以百度和阿里巴巴最積極投入自研ASIC加速晶片,百度在2020年初即發展其自研ASIC崑崙芯一代,第二代於2021年量產,第三代則預計於2024年上市。據TrendForce調查相關供應鏈,2023年後百度為建置其文心一言及相關AI訓練等基礎設施,將同步採購如華為的昇騰910B加速晶片,並擴大採用崑崙芯加速晶片用於自家AI基礎設施。阿里在2018年4月全資收購中國CPU IP供應商中天微之後,同年9月成立平頭哥半導體(T-Head),並自研ASIC AI晶片含光800。據TrendForce了解,旗下T-Head原第一代ASIC晶片還得仰賴外部業者如GUC共同設計,2023年後該公司將轉而較仰賴自身企業內部資源,強化新一代ASIC晶片自主設計能力,主應用於自家阿里雲AI基礎設施。