文心一言
」![alt](https://static.ctwant.com/images/cover/57/330557/sm-f2a308d56bbbba37e4ceb714fc8ed9a6.jpg)
繁中守護者2/母湯是一種清湯?專家測試8萬字資料Breeze運算跑第一「OpenAI不友善」
全世界最強繁中大型語言模型LLM問世,「MR BreeXe針對中文特殊情境優化,所以速度提升1倍,布建成本下降一半。」聯發創新基地資深技術經理陳宜昌告訴CTWANT記者。目前全世界有中文參數的LLM模型,包括歐美科技業者投資OpenAI的ChatGPT、Google的Gemini,Facebook母公司Meta推出的LLaMA,中國有百度的「文心一言」等,但大多以簡體中文的內容為主。究竟聯發科推出的繁中LLM功力如何?業內專家ihower用數發部的政府報告、管理學講義共8萬多字做壓力測試,結果發現聯發科在Tokenizer (分詞器)上的調整相當「有感」。ihower表示,一樣的文本,若能用比較少的 Tokens 數來表示,推論速度會比較快、成本也會比較划算,畢竟計價也是用Tokens數計算的。「以OpenAI為基準,聯發科的Breeze大約節省50%的Tokens數、運算更快,而Google Gemini大約節省46%,Llama 2甚至比OpenAI差、多增加了20%。」「OpenAI的Tokenizer對繁體中文真的很不友善啊!」ihower說。華碩營運長暨台智雲董事長謝明傑曾表示,OpenAI模型「大部分是英文腦,中文的腦相當少」,繁體中文資料比例低於0.1%,簡體中文資料不超過2%,但以數量來說,也相當於超過繁體中文20倍的量。GPT-4在中文領域的回答仍有侷限性。(圖/記者黃耀徵攝)同樣是中文LLM,為何要另外做出繁體中文的版本?成功大學資工系教授黃敬群向CTWANT記者解釋,因為AI是「生成」,而且不斷「演化」,一般人不會知道內容出自哪裡,就會出現文化衝擊問題,「現在很多大學生的作業、學者論文,甚至是媒體報導的內容,用AI輔助後出現大量中國式用語與邏輯思維,而非台灣行之有年、大量專家學者累積並完成的知識與術語,但使用者可能都沒發現。」如果不喜歡抖音文化,可選擇不看,但在AI時代,因為資料量的差異,中文世界會整個傾斜倒向中國大陸的邏輯思維,所以聯發科做繁體中文模型時「開源」公開程式碼,讓全世界的人去使用,以台灣思維為主的中文知識,才有機會進入AI時代的大腦資料來源。聯發創新基地在台大、倫敦、劍橋都有據點,一起研究AI。(圖/翻攝自聯發創新基地官網)除了解析中文語句的速度快,陳宜昌舉例,如果用Mixtral詢問「母湯」,他會說「是一種中國傳統的食物,通常是一種清湯或魚羹。」但在BreeXe上,就會說這是「台語的諧音梗,源自於沒關係,但在網路流行語中被用來否定、或是不正確的意思。」聯發創新基地負責人許大山跟CTWANT記者說,會取名為BreeXe,除了致敬Mixtral原本「西北風」意思,也希望他像breeze一樣的徐徐微風、廣泛吹進大家的電腦裡,讓人有如沐春風的感覺。一般人可能看不見、摸不著,但是這股以科技人為首的夢想與使命的風已經悄悄吹起來了。
![alt](https://static.ctwant.com/images/cover/7/295707/sm-eb568279e838a92bb1641002ce1d3543.jpg)
對決高通!聯發科推「天璣9300」全大核旗艦晶片 股價7日飆上899元市值破1.4兆
手機可以不上網就跑自己的AI了!IC設計龍頭聯發科(2454)6日晚間大動作發表最新旗艦級手機晶片「天璣9300」,以4個大核心架構,效能強卻能省電,直接正面對決高通日前發表的Snapdragon 8 Gen 3,雙方都主打可以在終端裝置上運行生成式AI,且將在大陸品牌手機上陸續推出,對此,投資人在7日給予信心支持,開盤就起漲,最高一度漲到899元,市值突破1.4兆,穩坐台股亞軍。兩大晶片廠今年決戰主流放在生成式AI,高通日前發表Snapdragon 8 Gen 3,可以直接在終端裝置上運行OpenAI Whisper、百度文心一言3.5、Meta Llama 2、Google Gecko等程式,並提到AI效能較前一代提升3.5倍,也能強化拍攝和後製功能。天璣9300則是打出「全大核」CPU架構,含4個 Cortex-X4超大核,性能較上一代提升40%,功耗卻能節省33%,完全是為了生成式AI而設計,用聯發科特有的記憶體硬體壓縮技術,讓最高可達330億參數的AI大型語言模型,能在終端裝置上運行,高通能做的、聯發科也能做到,且用跑分軟體還贏過高通。這兩家的CPU都是以Arm新一代的CPU技術,不過在核心分配上有不同的理論想法,最後誰能勝出還有待觀察;目前多家廠商都已宣布會以此晶片推出手機產品,像是小米14會用高通的,vivo X100會用聯發科的,台灣大約在12月中下旬能買到。業內人士認為,雖然目前主打的AI作圖和文字生成還不算最厲害的技術,但聯發科有AI技能擴充技術「NeuroPilot Fusion」,未來可以下載並抽換參數,讓自己手機的AI更客製化,就有無限想像,外資報告表示,聯發科的「全大核架構設計」是一大亮點,可應對AI和更複雜的遊戲應用,加上大陸智慧手機的庫存問題開始好轉,有機會刺激未來手機的更新換代,看好聯發科股價能優於大盤,上看1000元。而聯發科旗下小金雞達發(6526)10月19日以參考價434.84元上市,但當時面臨整體科技股高檔回落,掛牌蜜月行情失靈,聯發科6日宣布透過子公司旭達投資加碼力挺,依市場價格取得達發普通股,額度上限為6000張,讓達發7日開盤就往上猛跳,推助達發大漲逾7%、上衝454.5元歷史最高價,成功收復掛牌承銷價。
![alt](https://static.ctwant.com/images/cover/39/248239/sm-7cc4a6822af41b6158a5f96414061854.jpg)
中國網路巨頭紛紛迎戰ChatGPT 法人:晶片遭卡關恐不利發展
高度人工智慧語言模型ChatGPT出現,為網路發展帶來突破,隨著美國微軟結合文書處理系統推出Copilot ,宣告生成式AI實際應用開始串接落地,中國搜尋引擎龍頭百度3月中推出「文心一言(ERNIE)」,接下來騰訊、阿里巴巴也將分別推出競品「混元(HunyuanAide)」、「阿里M6」。然而,法人指出中國AI語言模型的風險在其晶片發展卡關,恐限制後續發展。ChatGPT約在10年前出現,GPT3在2020年就推出,但一直到2022年初,科學家們發現語言模型能夠產生類似人類的推理維能力。百度文心一言展現在文學創作、商業文案創作、數理推算、中文理解、多模態生成等5個使用場景中的綜合能力。但發表會不如市場預期,因文心一言運算能力遜於GPT4,發表用預錄影片而非現場對話,未提供與競品比較的測試數據,語言支援以中文為主,申請才能測試使用還不能全面開放、沒有釋出收費方案,初步用戶測試回饋不佳等。但身處中國生成式AI領域第一梯隊,百度股價仍在發表會後兩週上漲24%。之後騰訊在遊戲及社群、阿里巴巴在電商及釘釘等,皆有生成式AI的垂直應用場景。法人看好中國在生成式AI產業發展,中國生產力工具、客戶關係管理軟體提供者,將率先受惠AI帶動產品體驗優化;然而,中國發展ChatGPT風險在美中科技戰爭之下,晶片發展在成熟製程卡關,算力恐怕無法承受AI訓練強度,由此帶來發展侷限。
![alt](https://static.ctwant.com/images/cover/18/246118/sm-21a9307bbf60a4306c193430b5afc6bd.jpg)
輝達大啖AI商機市值衝上美股第六大 台積電吃補2天市值增逾5千億元
Nvidia(輝達)執行長黃仁勳在年度開發者大會上表示,「我們正處在 AI 的 iPhone 時刻」,激勵輝達股價2天內從259美元最高來到273美元,也推升公司市值衝上美股第六名,僅次於蘋果、微軟、谷歌母公司、亞馬遜及波克夏·海瑟威。繪圖晶片大廠輝達(NVIDIA)年度繪圖處理器(GPU)技術大會(GTC)於美西時間20日登場。黃仁勳也釋出看好大型語言模型、生成式AI、工業元宇宙與雲端運算四大領域。而受惠於輝達股價強勢走揚,晶圓代工龍頭廠台積電(2330)也連續2天上漲,累積上漲21元,市值也增加5445億元,來到13兆9505億元。由於近期市場持續關注人工智慧AI聊天機器人程式,包括微軟轉投資OPENAl的ChatGPT,中國也有百度的文心一言,這些Al生成式機器人都需要GPU,而輝達正是全球最大的GPU晶片供應商。其實輝達執行長黃仁勳日前,2月初就在加州大學伯克利分校哈斯商學院的演講中,直稱ChatGPT是人工智慧的「iPhone 時刻」,因為ChatGPT 出現後,初估已經有大約500家新創開發出有用的應用程式,就像當年iPhone 出現時,也有人可以在短短幾個週末就能寫出受歡迎的APP。
![alt](https://static.ctwant.com/images/cover/21/239721/sm-dc129fc796a6bcaf93db1654fb800695.jpg)
ChatGPT掀狂潮2/兩岸競相發展類ChatGPT 華碩、百度大對決
由ChatGPT所引發的浪潮,美股、台股及陸港股相關概念股都狂飆,大陸科技廠大力發展,台廠則是扮演軍火商的角色,打入供應鏈,從台積電(2330)供應高階GPU到小晶片「Chiplet」,華碩(2357)旗下台智雲也建置參數不輸ChatGPT的BLOOM大模型,就連國發會也宣示要組國家隊,並將提升超級電腦台灣杉2號算力。美股ChatGPT概念股,谷歌母公司Alphabet Inc.(GOOG)及微軟(MSFT)今年最高都漲逾20%,輝達(NVDA)更大漲50%。台股的創意(3443)首破千元大關創新高,世芯-KY(3661)也在暌違5個月之後再上千元。港股中像是漢王科技(002362.SZ)股價從16元人民幣衝上38元人民幣,海天瑞聲(688787.Ss)更從67元人民幣飆漲到244元人民幣,甚至被市場稱之為「妖股」。 陸股漢王科技及海天瑞聲因為搭上ChatGPT題材,股價狂飆,被稱為妖股。(圖/翻攝自富途牛牛)除了股市狂熱外,中國廠商也開始布局相關領域,其中最引發關注的,是搜尋引擎百度宣布,將在3月推出類ChatGPT「文心一言(ERNIEBot)」,是正面回應外,其他包括阿里巴巴、小米、騰訊、字節跳動等,也或多或少有所動作,但並不願透露細節。比較掉漆的是,中國杭州創新公司「元語智能」日前推出中國第一款聊天機器人ChatYuan,號稱要挑戰ChatGPT,不過隨即就因為政府審查而被停用。阿里巴巴也證實,旗下研發單位阿里巴巴達摩院正在研發類ChatGPT的生成式機器人,目前屬於內部測試階段,並未透露更多細節。而達摩院在今年1月所發布的2023年十大科技發展趨勢中也將生成式AI列在首位。阿里巴巴旗下達摩院在今年1月所發布的2023年十大科技發展趨勢中也將生成式AI列在首位。(圖/翻攝自阿里巴巴官網)達摩院指出,在未來三年,生成式AI將進一步市場化,形成更多樣的商業模式和更完善的產業生態。生成式AI模型將在交互能力、安全性和智慧化方面獲得顯著進展,輔助人類完成各種創造性工作。騰訊則指出,有相關布局正在推動,會在機器學習等領域基礎上,持續投入AI技術的研發。另外字節跳動也傳出旗下人工智慧實驗室(AI Lab)有發展類似ChatGPT的技術,不過公司並沒有回應。值得注意的是,ChatGPT需要大量的算力,因此需要大量高階的GPU,而美國已限制高階半導體產品輸往中國,由於近年來小晶片(Chiplet)設計已成為HPC運算處理器主流,是否會是中國突破美國封鎖的方式,也是外界觀察的目標。去年3月,由日月光、AMD、ARM、Google Cloud、Intel、微軟、高通、三星及台積電等10家公司正式成立了UCIe(Universal Chiplet Interconnect Express)產業聯盟,攜手推動Chiplet介面規範的標準化,並推出1.0版本。12月,第二屆中國互連技術與產業大會發布了《小晶片介面匯流排技術要求》,也成為中國首個原生Chiplet技術標準。法人指出,由於AI需要不斷學習,小晶片可以提供對應的功能,加上成本較低,也成為中國解決高階晶片的方式。至於台灣在類ChatGPT的發展,則是以華碩(2357)旗下的台智雲進度最快。台智雲在14日領先全台宣布成為第一個成功建置1760 億個參數的BLOOM(BigScience Large Open-science Open-access Multilingual Language Model)大模型,推出「AI2.0 大算力顧問服務」一站式整合方案。「AI 技術結合大型語言模型已是產業科技發展的趨勢,台智雲的BLOOM大模型成果,資料集包含46種人類語言、13種程式語言,參數量達到1760億個,整體資料量高達1.5TB以上,運用了840個GPU做跨節點(node)訓練,已有高科技研發製造、金融和零售領域企業正在洽談合作中。」台智雲技術長陳忠誠說。國科會主委吳政忠則宣示,台灣也需要有自己的ChatGPT,同時也會升級超級電腦台灣杉2號,以提高算力。台灣杉2號於2018年建成,主要用途是加速推動AI發展,每秒可進行176萬張的AI影像訓練,在之前的新冠疫情中,包括病毒基因演化、蛋白質分析、影像辨識也都進行運算協助抗疫。台灣國科會主委吳政忠宣示,台灣也需要有自己的ChatGPT,同時也會升級超級電腦台灣杉2號算力。(圖/國網中心提供、報系資料照)