文心一言
」
繁中守護者2／母湯是一種清湯？專家測試8萬字資料Breeze運算跑第一「OpenAI不友善」
全世界最強繁中大型語言模型LLM問世，「MR BreeXe針對中文特殊情境優化，所以速度提升1倍，布建成本下降一半。」聯發創新基地資深技術經理陳宜昌告訴CTWANT記者。目前全世界有中文參數的LLM模型，包括歐美科技業者投資OpenAI的ChatGPT、Google的Gemini，Facebook母公司Meta推出的LLaMA，中國有百度的「文心一言」等，但大多以簡體中文的內容為主。究竟聯發科推出的繁中LLM功力如何？業內專家ihower用數發部的政府報告、管理學講義共8萬多字做壓力測試，結果發現聯發科在Tokenizer (分詞器)上的調整相當「有感」。ihower表示，一樣的文本，若能用比較少的 Tokens 數來表示，推論速度會比較快、成本也會比較划算，畢竟計價也是用Tokens數計算的。「以OpenAI為基準，聯發科的Breeze大約節省50%的Tokens數、運算更快，而Google Gemini大約節省46%，Llama 2甚至比OpenAI差、多增加了20%。」「OpenAI的Tokenizer對繁體中文真的很不友善啊！」ihower說。華碩營運長暨台智雲董事長謝明傑曾表示，OpenAI模型「大部分是英文腦，中文的腦相當少」，繁體中文資料比例低於0.1%，簡體中文資料不超過2%，但以數量來說，也相當於超過繁體中文20倍的量。GPT-4在中文領域的回答仍有侷限性。（圖／記者黃耀徵攝）同樣是中文LLM，為何要另外做出繁體中文的版本？成功大學資工系教授黃敬群向CTWANT記者解釋，因為AI是「生成」，而且不斷「演化」，一般人不會知道內容出自哪裡，就會出現文化衝擊問題，「現在很多大學生的作業、學者論文，甚至是媒體報導的內容，用AI輔助後出現大量中國式用語與邏輯思維，而非台灣行之有年、大量專家學者累積並完成的知識與術語，但使用者可能都沒發現。」如果不喜歡抖音文化，可選擇不看，但在AI時代，因為資料量的差異，中文世界會整個傾斜倒向中國大陸的邏輯思維，所以聯發科做繁體中文模型時「開源」公開程式碼，讓全世界的人去使用，以台灣思維為主的中文知識，才有機會進入AI時代的大腦資料來源。聯發創新基地在台大、倫敦、劍橋都有據點，一起研究AI。（圖／翻攝自聯發創新基地官網）除了解析中文語句的速度快，陳宜昌舉例，如果用Mixtral詢問「母湯」，他會說「是一種中國傳統的食物，通常是一種清湯或魚羹。」但在BreeXe上，就會說這是「台語的諧音梗，源自於沒關係，但在網路流行語中被用來否定、或是不正確的意思。」聯發創新基地負責人許大山跟CTWANT記者說，會取名為BreeXe，除了致敬Mixtral原本「西北風」意思，也希望他像breeze一樣的徐徐微風、廣泛吹進大家的電腦裡，讓人有如沐春風的感覺。一般人可能看不見、摸不著，但是這股以科技人為首的夢想與使命的風已經悄悄吹起來了。
對決高通！聯發科推「天璣9300」全大核旗艦晶片 股價7日飆上899元市值破1.4兆
手機可以不上網就跑自己的AI了！IC設計龍頭聯發科(2454)6日晚間大動作發表最新旗艦級手機晶片「天璣9300」，以4個大核心架構，效能強卻能省電，直接正面對決高通日前發表的Snapdragon 8 Gen 3，雙方都主打可以在終端裝置上運行生成式AI，且將在大陸品牌手機上陸續推出，對此，投資人在7日給予信心支持，開盤就起漲，最高一度漲到899元，市值突破1.4兆，穩坐台股亞軍。兩大晶片廠今年決戰主流放在生成式AI，高通日前發表Snapdragon 8 Gen 3，可以直接在終端裝置上運行OpenAI Whisper、百度文心一言3.5、Meta Llama 2、Google Gecko等程式，並提到AI效能較前一代提升3.5倍，也能強化拍攝和後製功能。天璣9300則是打出「全大核」CPU架構，含4個 Cortex-X4超大核，性能較上一代提升40%，功耗卻能節省33%，完全是為了生成式AI而設計，用聯發科特有的記憶體硬體壓縮技術，讓最高可達330億參數的AI大型語言模型，能在終端裝置上運行，高通能做的、聯發科也能做到，且用跑分軟體還贏過高通。這兩家的CPU都是以Arm新一代的CPU技術，不過在核心分配上有不同的理論想法，最後誰能勝出還有待觀察；目前多家廠商都已宣布會以此晶片推出手機產品，像是小米14會用高通的，vivo X100會用聯發科的，台灣大約在12月中下旬能買到。業內人士認為，雖然目前主打的AI作圖和文字生成還不算最厲害的技術，但聯發科有AI技能擴充技術「NeuroPilot Fusion」，未來可以下載並抽換參數，讓自己手機的AI更客製化，就有無限想像，外資報告表示，聯發科的「全大核架構設計」是一大亮點，可應對AI和更複雜的遊戲應用，加上大陸智慧手機的庫存問題開始好轉，有機會刺激未來手機的更新換代，看好聯發科股價能優於大盤，上看1000元。而聯發科旗下小金雞達發（6526）10月19日以參考價434.84元上市，但當時面臨整體科技股高檔回落，掛牌蜜月行情失靈，聯發科6日宣布透過子公司旭達投資加碼力挺，依市場價格取得達發普通股，額度上限為6000張，讓達發7日開盤就往上猛跳，推助達發大漲逾7%、上衝454.5元歷史最高價，成功收復掛牌承銷價。
中國網路巨頭紛紛迎戰ChatGPT 法人：晶片遭卡關恐不利發展
高度人工智慧語言模型ChatGPT出現，為網路發展帶來突破，隨著美國微軟結合文書處理系統推出Copilot ，宣告生成式AI實際應用開始串接落地，中國搜尋引擎龍頭百度3月中推出「文心一言（ERNIE）」，接下來騰訊、阿里巴巴也將分別推出競品「混元（HunyuanAide）」、「阿里M6」。然而，法人指出中國AI語言模型的風險在其晶片發展卡關，恐限制後續發展。ChatGPT約在10年前出現，GPT3在2020年就推出，但一直到2022年初，科學家們發現語言模型能夠產生類似人類的推理維能力。百度文心一言展現在文學創作、商業文案創作、數理推算、中文理解、多模態生成等5個使用場景中的綜合能力。但發表會不如市場預期，因文心一言運算能力遜於GPT4，發表用預錄影片而非現場對話，未提供與競品比較的測試數據，語言支援以中文為主，申請才能測試使用還不能全面開放、沒有釋出收費方案，初步用戶測試回饋不佳等。但身處中國生成式AI領域第一梯隊，百度股價仍在發表會後兩週上漲24%。之後騰訊在遊戲及社群、阿里巴巴在電商及釘釘等，皆有生成式AI的垂直應用場景。法人看好中國在生成式AI產業發展，中國生產力工具、客戶關係管理軟體提供者，將率先受惠AI帶動產品體驗優化；然而，中國發展ChatGPT風險在美中科技戰爭之下，晶片發展在成熟製程卡關，算力恐怕無法承受AI訓練強度，由此帶來發展侷限。
輝達大啖AI商機市值衝上美股第六大 台積電吃補2天市值增逾5千億元
Nvidia（輝達）執行長黃仁勳在年度開發者大會上表示，「我們正處在 AI 的 iPhone 時刻」，激勵輝達股價2天內從259美元最高來到273美元，也推升公司市值衝上美股第六名，僅次於蘋果、微軟、谷歌母公司、亞馬遜及波克夏·海瑟威。繪圖晶片大廠輝達（NVIDIA）年度繪圖處理器（GPU）技術大會（GTC）於美西時間20日登場。黃仁勳也釋出看好大型語言模型、生成式AI、工業元宇宙與雲端運算四大領域。而受惠於輝達股價強勢走揚，晶圓代工龍頭廠台積電（2330）也連續2天上漲，累積上漲21元，市值也增加5445億元，來到13兆9505億元。由於近期市場持續關注人工智慧AI聊天機器人程式，包括微軟轉投資OPENAl的ChatGPT，中國也有百度的文心一言，這些Al生成式機器人都需要GPU，而輝達正是全球最大的GPU晶片供應商。其實輝達執行長黃仁勳日前，2月初就在加州大學伯克利分校哈斯商學院的演講中，直稱ChatGPT是人工智慧的「iPhone 時刻」，因為ChatGPT 出現後，初估已經有大約500家新創開發出有用的應用程式，就像當年iPhone 出現時，也有人可以在短短幾個週末就能寫出受歡迎的APP。
ChatGPT掀狂潮2／兩岸競相發展類ChatGPT 華碩、百度大對決
由ChatGPT所引發的浪潮，美股、台股及陸港股相關概念股都狂飆，大陸科技廠大力發展，台廠則是扮演軍火商的角色，打入供應鏈，從台積電（2330）供應高階GPU到小晶片「Chiplet」，華碩（2357）旗下台智雲也建置參數不輸ChatGPT的BLOOM大模型，就連國發會也宣示要組國家隊，並將提升超級電腦台灣杉2號算力。美股ChatGPT概念股，谷歌母公司Alphabet Inc.（GOOG）及微軟（MSFT）今年最高都漲逾20%，輝達（NVDA）更大漲50%。台股的創意（3443）首破千元大關創新高，世芯-KY（3661）也在暌違5個月之後再上千元。港股中像是漢王科技（002362.SZ）股價從16元人民幣衝上38元人民幣，海天瑞聲（688787.Ss）更從67元人民幣飆漲到244元人民幣，甚至被市場稱之為「妖股」。 陸股漢王科技及海天瑞聲因為搭上ChatGPT題材，股價狂飆，被稱為妖股。（圖／翻攝自富途牛牛）除了股市狂熱外，中國廠商也開始布局相關領域，其中最引發關注的，是搜尋引擎百度宣布，將在3月推出類ChatGPT「文心一言（ERNIEBot）」，是正面回應外，其他包括阿里巴巴、小米、騰訊、字節跳動等，也或多或少有所動作，但並不願透露細節。比較掉漆的是，中國杭州創新公司「元語智能」日前推出中國第一款聊天機器人ChatYuan，號稱要挑戰ChatGPT，不過隨即就因為政府審查而被停用。阿里巴巴也證實，旗下研發單位阿里巴巴達摩院正在研發類ChatGPT的生成式機器人，目前屬於內部測試階段，並未透露更多細節。而達摩院在今年1月所發布的2023年十大科技發展趨勢中也將生成式AI列在首位。阿里巴巴旗下達摩院在今年1月所發布的2023年十大科技發展趨勢中也將生成式AI列在首位。（圖／翻攝自阿里巴巴官網）達摩院指出，在未來三年，生成式AI將進一步市場化，形成更多樣的商業模式和更完善的產業生態。生成式AI模型將在交互能力、安全性和智慧化方面獲得顯著進展，輔助人類完成各種創造性工作。騰訊則指出，有相關布局正在推動，會在機器學習等領域基礎上，持續投入AI技術的研發。另外字節跳動也傳出旗下人工智慧實驗室（AI Lab）有發展類似ChatGPT的技術，不過公司並沒有回應。值得注意的是，ChatGPT需要大量的算力，因此需要大量高階的GPU，而美國已限制高階半導體產品輸往中國，由於近年來小晶片（Chiplet）設計已成為HPC運算處理器主流，是否會是中國突破美國封鎖的方式，也是外界觀察的目標。去年3月，由日月光、AMD、ARM、Google Cloud、Intel、微軟、高通、三星及台積電等10家公司正式成立了UCIe（Universal Chiplet Interconnect Express）產業聯盟，攜手推動Chiplet介面規範的標準化，並推出1.0版本。12月，第二屆中國互連技術與產業大會發布了《小晶片介面匯流排技術要求》，也成為中國首個原生Chiplet技術標準。法人指出，由於AI需要不斷學習，小晶片可以提供對應的功能，加上成本較低，也成為中國解決高階晶片的方式。至於台灣在類ChatGPT的發展，則是以華碩（2357）旗下的台智雲進度最快。台智雲在14日領先全台宣布成為第一個成功建置1760 億個參數的BLOOM（BigScience Large Open-science Open-access Multilingual Language Model）大模型，推出「AI2.0 大算力顧問服務」一站式整合方案。「AI 技術結合大型語言模型已是產業科技發展的趨勢，台智雲的BLOOM大模型成果，資料集包含46種人類語言、13種程式語言，參數量達到1760億個，整體資料量高達1.5TB以上，運用了840個GPU做跨節點（node）訓練，已有高科技研發製造、金融和零售領域企業正在洽談合作中。」台智雲技術長陳忠誠說。國科會主委吳政忠則宣示，台灣也需要有自己的ChatGPT，同時也會升級超級電腦台灣杉2號，以提高算力。台灣杉2號於2018年建成，主要用途是加速推動AI發展，每秒可進行176萬張的AI影像訓練，在之前的新冠疫情中，包括病毒基因演化、蛋白質分析、影像辨識也都進行運算協助抗疫。台灣國科會主委吳政忠宣示，台灣也需要有自己的ChatGPT，同時也會升級超級電腦台灣杉2號算力。（圖／國網中心提供、報系資料照）