Windows 11內建生成式AI 高通驍龍平台邊緣運算10億個參數
高通表示，裝置上生成式 AI 解決方案能透過將查詢和推論移至如PC與手機等邊緣裝置，讓開發人員和雲端服務供應商可提供更經濟實惠、更可靠和更有隱私的生成式 AI。（圖/ 高通提供）
美商高通（NASDAQ：QCOM ）於 Microsoft Build 2023 開發者大會展示在裝置上AI領域的一系列最新創新成果，兩點有在Snapdragon（驍龍）運算平台上運行的生成式 AI「Stable Diffusion」，這是一款具有超過10億個參數的語言模型，並預告數月後將達100億個參數。
高通技術公司產品管理資深副總裁Ziad Asghar表示：「要使生成式AI成為真正的主流，需要讓大部分推論在邊緣裝置上執行。我們一流的AI硬體和軟體能使開發人員充分利用我們強大的AI功能，在筆記型電腦、手機和其他搭載Snapdragon的裝置上提供令人驚豔的全新使用者體驗。」
AI的未來需同時包含裝置上AI和雲端AI。在裝置上運行 AI 應用程式可提升成本效益、隱私、個人化和降低延遲。Snapdragon平台搭載專用的高通AI引擎，相較於純粹在CPU或GPU上處理，能更有效率地處理 AI 工作負載，即使是在輕薄小巧的裝置上，也可以實現裝置上AI。
高通將在Microsoft Build開發者大會上展示並提供協助在新一代Windows 11 PC上開發生成式AI的工具。 Stable Diffusion是一款具有超過10億個參數、可從文本生成圖像的生成式AI模型，現在已能夠完全在裝置上運行。該公司表示未來的發展非常明確，再過幾個月就能在裝置上運行多達100億個參數的模型。
此外，高通技術公司也將在本屆Build開發者大會上展示當熱門應用程式為Snapdragon進行原生編譯時能獲得顯著效能提升，並首度公布一個全新開發者入口網站，該網站將為開發Windows on Snapdragon使用的關鍵工具、資源和支援集中在一個易於使用的位置。