NPU晶片
」 AI NPU 微軟 胡書賓
AI新勢力3／「是工程師還是藝人？」出差回來員工跑光 他創業9年如魔戒遠征軍
近期不少科技大老討論AI時代之台灣新機會的場子上，頻繁出現一張新面孔，那就是耐能創辦人暨執行長劉峻誠。「CPU是美國人定義的，GPU是Nvidia 黃仁勳定義的，這時代的 AI 晶片就是耐能定義出來的！」這句很跩的話，就是1981年出生的劉峻誠說出來的。對投資人來說，近年AI掀起的股市大浪中，沒聽過耐能（Kneron）這間公司，但從台大到美國普林斯頓、UCLA、希臘、以色列、俄羅斯等地的大學，只要是教授AI的課堂，學生都會讀到《深度學習-硬體設計》（Deep Learning-Hardware Design），作者之一就是劉峻誠。「感謝大家、現在各大學都有在教NPU，因為是我發明了這個架構，而且還寫了教科書。」前科技部長陳良基建議他進入台灣的大學教課，再將上課講義集結成書，「他跟我說，懂AI的人太少」，劉峻誠透露。前科技部長陳良基建議劉峻誠去大學教AI，甚至還寫了課本。（圖／耐能提供、翻攝自amazon官網）劉峻誠曾向CTWANT記者表示，自己的求學求職及創業路很「漂泊」，成大電機畢業後到加州大學念碩博士，拿到不少專利和厲害獎項，結果出校園就遇上2008年金融海嘯，求職路忐忑，輾轉從美國貝爾實驗室、NASA、高通、三星、晨星等，美韓台商都有他的足跡。擁有電機博士的劉峻誠在念書時接觸到AI，對這領域很有興趣，在高通任職時曾建議「把AI帶到終端」，但不被主管重視，他索性和友人在聖地牙哥創立耐能Kneron，「當時AI非常冷門，大家都笑說做AI會找不到女友」，2015年跟朋友約好拿到訂單就辭職創業，沒想到機會泡湯，錢也被捲走。最慘的時候劉峻誠還曾向前老闆、晨星半導體創辦人楊偉毅求助，楊以名下創投公司可轉債方式借他350萬美元週轉。劉峻誠好不容易拿到的第一張訂單，過程也很戲劇化。「我在2016年2月去中國找訂單，為了打知名度，還跑去參加選秀節目。」友人推薦劉峻誠去參加浙江衛視的創業型選秀節目《我是創始人》，沒想到一路過關斬將，在大陸一口氣拍了2個多月才被淘汰「放出來」，一起錄節目的格力董座董明珠說很欣賞他，想要合作。劉峻誠現在能跟許多科技大老同台演講。（圖／翻攝自台北電腦公會臉書）當他高高興興回到美國，上班第一天打開公司大門，十幾名員工只有一個來上班，「他們全都認爲我背叛他們，離開了，我的公司要完蛋了！」這個變故讓他病倒了，只好親自打電話跟每個人解釋，被他們臭罵了整整三天，「你不是工程師嗎？怎麼變成了藝人！」好不容易把幾個人勸回來，才能啟動劉峻誠「賣臉」拿到的第一張大訂單。耐能的團隊集結許多不同國家的成員。（圖／翻攝自耐能官網）格力電器是中國大陸的空調公司，因為家電不能賣太貴，無法安裝昂貴晶片、還要省電，用上耐能的NPU晶片，讓劉峻誠打出名聲，先後為百度、阿里、騰訊這三大網路巨頭及搜狗等量身打造產品，就連美系ARM、高通，及台積電、鴻海也成了客戶。後來陸續獲得總計超過1.9億美元的融資，投資者赫赫有名，包括李嘉誠旗下的維港投資、阿里巴巴創業者基金、中華開發資本、奇景光電、高通、中科創達、紅杉資本子基金Cloudatlas、鴻海集團、華邦電子等。耐能將與鴻海在電動車開放平台MIH及工業4.0領域上合作；最近飛利浦品牌也引入耐能的KL系列AI晶片，用在智慧家居上；工業電腦大廠新漢也簽合作意向書，要以NPU為基礎，打造專為終端應用市場所量身設計的智慧物聯網解決方案。新漢董事長林茂昌表示， 因為AI太耗能，但企業面臨ESG問題，所以必須選擇最低的能源消耗、執行最高效能的邊緣運算，從軟、硬體技術整合到通路串聯，才能為客戶解決問題。這段在當年冷僻的AI領域裡創業歷程，讓他認識不同領域的人、理解各國文化與科技實力，如今耐能團隊成長到200多人，來自美國、深圳和台北，「我們就像『魔戒遠征軍』，成員來自多個國家、各種領域，這也是AI所需要的跨領域軟硬整合！」劉峻誠笑著說。
AI新勢力2／「不拿坦克車鑽巷子！」 劉峻誠力推高效省電NPU讓人工智慧更普及
「CPU （中央處理器）像坦克車，一開始設計功能主要是打仗用，GPU（圖形處理器）就像是卡車，主要拿來載貨物；NPU（神經處理器）則是小客車，能在小城市內跑來跑去，專為AI而生。」耐能（Kneron）創辦人暨執行長劉峻誠向CTWANT記者解釋，AI時代大家最常聽見的三種處理器差異何在。輝達（Nvidia）創辦人兼執行長黃仁勳在今年6月的台大演講時提及，從1964年IBM創造出第一片CPU到現在，電腦已誕生60年，但 CPU升級速度已減低，須處理的資料量卻大幅成長，而輝達在2006年推出CUDA技術，讓GPU可應用於圖像處理以外的計算，也成為AI計算的主要動力。「CPU+GPU的平行運算模式，才能提供等量的加速運算能力」黃仁勳表示，若以單顆CPU運算需要1秒時間的資料量，搭配GPU加速運算，則只需要0.01秒的時間，且僅需3倍能耗、1.5倍的裝置成本，等於省下了98%的裝置成本、97%的能源，「所以你買越多GPU，就省更多錢」。業內人士向CTWANT記者解釋，因手機與電腦的應用及計算變多，業界在標準積體電路（IC）外，另外訂製ASIC專用（特殊應用）電路，畢竟「專用的比通用的好」，例如Google研發出TPU(Tensor Processing Unit張量處理器)，用於大量低精度計算，但生產廠商少，價格昂貴，劉峻誠的NPU和TPU的概念很像，但「他抓住低價的利基市場，所以在終端使用量會比較多。」業內人士進一步說明，如果沒有NPU，傳統筆電使用AI助手，很容易遇到效能網路塞車的問題，而耐能的NPU主打在沒有網路狀態下也能運算，特別是物體與人臉辨識，如今AI應用更廣泛，使用GPU有成本貴及耗電問題，讓NPU業者更有底氣推廣，「讓CPU、GPU去做它本來要做的事，就是解方。」高通驍龍X系列處理器，有專為AI應用設計的NPU。（圖／黃鵬杰攝）而現在常聽見的NPU，就是劉峻誠2015年創業時打造的全新計算模型「神經網路處理器」（Neural Networks Processing Unit），這個「可重組式人工智慧神經網路」的專利，像一堆樂高積木，當要支持語音AI模型時，可透過指令集重組，要支持圖像AI時再次重新組合，由於可支援多種神經網絡模型，保持架構精簡，處理 AI 模型運算時，具有性能和功耗上的優勢。早在2018年，CTWANT記者曾訪問過劉峻誠，當時AI議題還不熱，他在解釋NPU概念時，主打是在離線狀態下，能讓手機或電腦繼續學習和執行複雜的深度學習演算，能讓AI更平民化。時隔六年，他跟CTWANT記者的解釋更具象，「CPU就像是坦克車，但有一天人類蓋了小型城市，大家發現GPU這卡車比較方便，「我們的NPU就是小客車，雖然市面上的駕駛都習慣開卡車，但若有一天油價漲了兩、三百倍，大家就會被逼迫去試著開小客車。」劉峻誠說「國際級的雲端大廠是目前GPU的主要買家，但因為實在太貴、太耗電，就像某個貨運公司的卡車隊伍，正在強迫司機要換小客車，這件事情正在發生，你就等著看吧！」除了雲端，NPU晶片架構在終端產品上的能見度的確越來越多，目前高通驍龍X系列處理器，就是主打專為AI應用設計的NPU，高效能、更省電；耐能去年3月也宣布自研的人工智慧系統晶片KL720打入高通的產品線，用在高通機器人RB1平台與RB2平台中。Arm在4月發表因應邊緣AI運算的第三代NPU產品「Arm Ethos-U85」，其效能相比上一代Ethos-U65提升4倍、功耗能源轉換效率提高20%，可用在工廠自動化和商用監視器或智慧家庭攝影機等應用。技嘉的筆電也有採用NPU。（圖／業者提供）今年6月的Computex電腦展上，CTWANT記者就在Intel展區中，看到多項跟NPU有關的實機展示。像是技嘉Aorus 15筆電的展示，過去可用手勢撥放或停止影音播放程式，當時是利用CPU與GPU來處理分析，透過鏡頭來識別手勢，現在則使用NPU獨立處理。劉峻誠曾引用大摩報告指出，到2027年，NPU的市占率將會超過GPU，不過Google DeepMind傑出科學家紀懷新向CTWANT記者說，「我認為五到十年內，GPU的地位還不會被取代」不過現在的確有很多人在思考用更多元的方式去解決，也是好事一件。
微軟本周將測試Windows新版Copilot 外媒：下半年更新AI升級
微軟希望2024年成為AI PC之年，也已經在Windows的重大功能更新做好了準備，其中本週微軟將在Windows中測試Copilot的新體驗，包括在任務欄中的Copilot圖標，當用戶複製文本或圖片時，Copilot操作選項就會自動出現。包括英特爾、高通等硬體公司都曾指出，2024年的Windows更新重心將專注於人工智能，原本微軟都未正式承認。不過微軟執行副總裁兼消費者營運長Yusuf Mehdi本週在受訪時表示，Windows系統內的Copilot接下來將可以了解使用者所處在的使用環境，理解頁面內容，可以做更豐富的事情。外電報導，在最新的Windows 11 Canary版本中發現升級的Copilot在文本相關操作方面運行良好，包括複製圖片時的圖示也會呈現動畫效果，不過這項功能還不太完備。據了解，目前，如果將圖片拖放到任務欄上的Copilot圖示中，Copilot就可以告訴使用者圖片中包含了什麼內容，甚至往後的功能還可以幫使用者編輯圖片。另外在記事本功能部分，也即將獲得Copilot的人工智能功能，在使用者選擇檔案後，按下右鍵選擇Copilot解釋，AI能夠解讀文件等資料。之前市場普遍認為，微軟要到Windows 12，才會針對AI進行重磅更新，但就目前資訊來看，今年下半年，微軟Windows 11的更新，可能就會包含許多AI方面的升級。在微軟最新的Windows 11測試版本中，Copilot能夠理解上下文的能力已經明顯變強了，同時微軟還打算利用專用於處理神經網絡的工作NPU晶片，進一步強化Copilot的能力。
AI PC搶一波1／微軟英特爾開戰定義不清 台廠首發「商務客及內容創作者」
生成式AI機器人ChatGPT問世，2023年引爆AI旋風，AI伺服器搶盡科技產業風采，飽嚐營收及股價噴發利多，新科台灣首富廣達（2382）董事長林百里今年11月底在醫療科技展喊出，「AI PC可能在2024年夏天問世。」一舉將AI浪潮從雲端推向終端PC市場。美科技大廠早已摩拳擦掌。微軟以GPT為基礎開發AI助理Copilot，11月開始販售，提供Microsoft 365企業用戶在Windows 11上導入AI處理能力。晶片大廠英特爾（INTEL）12月中也發表最新PC處理器Core Ultra，搭載AI加速器NPU（神經處理單元），讓PC實現AI運算效能，執行長季辛格（Pat Gelsinger）宣示，「AI PC將是未來一年的主角，我們也預估，2025年可達1億台規模」廣達董事長林百里也預期AI PC可能在2024年夏天問世。（圖／報系資料照）究竟AI PC如何定義？作業系統導入AI處理能力，還是搭載NPU晶片才算AI PC？知識力科技執行長曲建仲也分析指出，目前消費者使用生成式AI，還是要靠雲端，也就是由雲端來處理，但AI PC就是直接在你的電腦可以運算，節省等待時間。當使用者有AI應用需求，TrendForce表示，AI PC屬於新興細分市場，尚無明確定義，從軟體來看，微軟以GPT大型語言模型（LLM）為基礎，11月推出的AI助理Copilot，可讓企業用戶導入AI處理能力，但仍需要雲端伺服器的儲存與回應；從硬體來看，為要使用端更快速（即時回應、低延遲）、更安全（本機儲存）及更便宜（降低伺服器依賴），CPU廠商就需要強化終端裝置的AI處理能力。宏碁董事長陳俊聖指出，已經準備好『AI-Ready』的PC了。（圖／報系資料照）台灣筆電品牌廠對AI PC也給了不同定義。宏碁（2353）董事長告訴CTWANT記者，「現階段各方對AI PC的定義不一，宏碁站在第一線、面對終端用戶，生成式AI將PC使用『從search（搜尋）轉為ask（發問）』的行為模式改變才是重點。」「硬體方面，自己的路線可先跑出來，等軟體跟上時，我們會準備好『AI-Ready』的PC。」陳俊聖補充，「越來越多PC會整合NPU、Copilot、Adobe等生成式AI相關應用，這是一定看得到的。」。AI PC的定義是甚麼？「硬體廠英特爾認為，有了NPU的電腦，加上搭配CPU（中央處理器）跟GPU（圖形處理器），能夠滿足AI應用需求就算是；軟體廠微軟則直接定義，要滿足算力需求的才算，軟硬體廠商都有不同的定義。」華碩（2357）共同執行長胡書賓告訴CTWANT記者，「其實最後還是要看消費者，只要消費者認為是就算。」華碩共同執行長胡書賓直言，消費者的定義才是AI PC最終的定義。（圖／趙世勳攝）記者觀察目前台品牌廠在12月中甫推出的首批搭載INTEL NPU的「AI PC」，基本以優化電腦使用模式為主，隨時依照使用者的需求，調整到最適化狀態。例如華碩的ASUSZenbook 14 OLED，就可透過AI程式幫助內容撰寫、分析、製作簡報；亦可使用AI應用軟體進行圖像或影像創作。宏碁的AI-Ready筆記型電腦 Acer Swift Go 14也利用AI技術，推出Acer PurifiedVoice、Acer QuickPanel、Acer AlterView等相關功能，提高電腦的反應速度、降低耗能、快速切換模式，或利用AI生成的深度圖將2D圖像轉變為具3D效果的動畫桌布，並從多個角度觀賞。微星Prestige AI系列商務筆電則是搭載自家AI Engine，針對使用者情境，自動調整硬體設定，實現最佳效能表現。而AI PC的用戶在哪裡？集邦科技指出，綜觀AI PC發展初期，將聚焦於高階商務用戶與內容創作者，此族群對運用AI處理功能換取生產力效率有高度需求，能即刻受益於相關應用，將成為第一代使用用戶。至於消費型AI PC，需待更多元的AI工具及應用問世，以及價格門檻降低，才有機會普及，目前的消費型PC裝置已可提供雲端AI應用，滿足日常生活、娛樂所需。目前台灣品牌包括華碩、宏碁及微星都推出首批的AI PC。（圖／華碩、宏碁、微星提供）消費者現在需要換機或購買AI PC新機？3C通路商分析，目前市售AI PC因硬體規格提升，價位大約在3萬5以上，以平均單價約3萬，確實比一般PC售價還高，若加大記憶體跟硬體容量，就要4萬起跳，等到明年微軟推出新款Windows 12，價格就會再拉高，「對想要嘗鮮或有換機需求的消費者，價差其實還在可以接受的範圍。」3C通路商指出，不排除微軟明年Windows 12推出，可能比照Window 10免費升級Window 11的模式，因此現在的機種或許有機會可以比照辦理。那麼「現在可能是買入AI PC的好時機。」胡書賓笑說。
人工智慧掌中戲2／英特爾CEO半年二度來台固樁 全球AI PC 未來五年決勝負
喊水會結凍、全球第二大半導體公司英特爾（Intel）執行長季辛格（Pat Gelsinger）半年內二度訪台，為的是什麼？「AI無所不在！」，季辛格11月7日在「Intel Innovation Taipei 2023科技論壇」頻頻喊出這句話，「他這趟來就是為了12月將推出的IntelCore Ultra處理器，拉攏台灣產業鏈，打造他們的AI PC（電腦）新帝國。」與會的業內人士告訴CTWANT記者。季辛格宣布攜手台廠供應鏈全面佈局，未來2年推動超過1億台AI PC出貨。對於季辛格的新藍圖，記者現場追問包括宏碁（2353）董事長陳俊聖和廣達（2382）副董事長梁次震等，大多保守回應「談出貨還太早」。不過台廠都看好AI PC，畢竟AI已是避不開的基本配備，誰先做出解決方案，誰就能在下一世代的新機種搶下話語權。華碩（2357）共同執行長胡書賓表示，明年初會看到搭載像是NPU（神經處理單元）晶片這樣廣義的AI PC產品，但若要嚴謹定義、能順暢導入AI應用作業系統的AI PC，預計要明年6、7月才會問世，預計明年電腦市場，僅能看到個位數的滲透率。為什麼AI手機走在AI PC前？研調機構集邦科技（TrendForce）表示，因為AI PC屬新興領域，尚未有明確定義，若以網路連上雲端伺服器使用大語言模型，普通電腦就可用微軟（Microsoft）的Copilot，進行AI電腦助手，或是問問題、創作文字與圖像作品等，目前作業系統Windows 10可用，硬體要求也不高。電腦可用微軟Copilot進行AI相關協助或問答，但仍要連線使用。（圖／翻攝自英特爾官網、微軟官網）然而這種在電腦上使用AI的過程，大部分要上網，最近卻發生一件事，證實外界對於「上網使用AI服務的風險」，也就是WPS AI事件。這是大陸金山軟件開發出的WPS Office，在電腦上可以免費使用，很多人拿來取代微軟要付費的Office文書處理系統，今年推出生成式AI產品，號稱能幫你把文件寫得更好、或是自動做出表格或簡報，11月16日時，被人發現他在隱私權條款上提到「我們將對您主動上傳的文檔材料，作為AI訓練的基礎材料使用」，這顯示你只要用手機或電腦使用他們的AI文書系統，你的資料都會默默上傳變成他的「養分」，引發外界一片譁然，讓金山緊急在18日宣布「所有用戶文檔不會被用於任何AI訓練」。就是因為不少人對於上網連線的AI有質疑，特別是擁有大量公司機密的企業家們的電腦，遲遲不敢AI化，所以硬體業者們才會想內建在自己的設備裡。AI大聯盟會長、台智雲總經理吳漢章跟CTWANT記者說，對AI來說，很多企業做下去發現有問題，像是不可靠的回應，一般人錯了就算了，但企業要導入，就會有相關的成本、資安風險等議題，需要做成終端的「自己的大腦」，把企業機密存在自己的家裡，所以不靠上網就執行的AI PC仍有空間。若要把生成式AI的系統直接內建到電腦硬體裡，卻沒有這麼簡單，集邦表示，必須要讓使用者感覺回答速度更快更安全，就要即時回應、低延遲，資料儲存在機器內，減少上傳雲端伺服器的風險，非常考驗機器處理能力，相關軟、硬體升級成本高，AI PC發展初期可聚焦高階商務用戶與內容創作者，一般消費者沒那麼迫切。研調機構DIGITIMES研究中心總監黃銘章表示，若要順利在PC上跑AI應用，需要更多記憶體、更優質的電池、規格更高的相機、與更好的散熱設計，「每一個環節，都代表著一個商機。」若要從雲端落地、轉而在電腦上跑AI應用，還需要許多技術性突破。（圖／翻攝自英特爾臉書）DIGITIMES數據顯示，今年的高階AI伺服器出貨約17.41萬台，年增415.1%，明年上看37.28萬台，年增114.1%；隨著明年科技產業庫存邁向正常，半導體市場回到正常軌道，其中，生成式AI應用將從雲端向邊緣端推進，將有利個人電腦、手機市場回升，看好AI PC有望在未來五年占據整體PC的六成水準。吳漢章表示，台灣在這方面其實很領先，因為國科會提早把AI運算為主的超級電腦商業化，包括華碩、廣達、聯發科等業者都以此來使用研發，加上台灣自有完整電腦供應鏈與品牌，早就與半導體業者合作，AI PC的發展速度會比其他國家快，「我們覺得這會是未來五年、十年的大起點，因為這波AI服務每天都在改變，一直有新的可能性出來」，吳漢章笑說，只要老闆們感受到它的威力，接下來就能看到各種銷售與研發等拚了命地推出各種功能與商品來。
超離譜！面試還沒結束公司就倒閉 未到職新員工還拿到賠償
近日中國上海有一名網友前往科技公司面試，原本要經歷6關面試關卡，沒想到在過程中突然被喊卡，面試臨時取消。網友在返家等待消息時就聽到公司倒閉的消息。而值得一提的是，傳聞這間公司的未到職新員工竟然還有拿到相關賠償。根據中國媒體報導指出，這間如此離奇的公司，據了解可能是手機大廠OPPO的晶片業務子公司ZEKU。一名網友在網路上表示，自己在通過ZEKU第一輪的技術面事後，準備要進行6個關卡的面試。原本這6個面試要分成兩天進行，結果在面試首日時，公司的人資就以「伺服器斷線、員工無法登入」為由，臨時取消面試。在網友離開前，該公司人資還強調明天就可修好、繼續進行面試。沒想到網友在返家後，就在網路上看到OPPO準備放棄晶片業務、子公司ZEKU的相關業務也被強制終止，幾乎是形同倒閉。該名網友也表示，面試到一半結果公司就倒閉了，這實在太戲劇化了。據了解，ZEKU是2017年成立，公司產品主要是承接晶片設計，在2021年曾推出自研發的影像NPU晶片MariSilicon X，還在計畫在2024年推出整合5G基帶的SoC（系統單晶片)，被外界視為晶片領域的明日之星。沒想到OPPO先前表示，由於全球經濟、手機市場不確定性太高，經過審慎考慮後，決定解散ZEKU的晶片研發業務。當時OPPO就承諾會妥善處置ZEKU的後續人員問題。目前就有消息指出，一些應徵上ZEKU的未到職員工將可以獲得兩種補償，一種是用原本條件、薪資加入OPPO，或是給3個月的「入職月薪+年度獎金/12」的金額，算是非常合理的處置方式。