xAI
」 馬斯克 AI OpenAI
錢給你給我貨！甲骨文創辦人自爆聯手馬斯克 找黃仁勳求AI GPU晶片
在AI熱潮下，科技巨頭爭奪AI硬體資源的競爭也日益激烈，近日甲骨文（Oracle）創始人埃里森（Larry Ellison）透露，自己曾與特斯拉執行長馬斯克（Elon Musk）一同在帕洛阿爾托（Palo Alto）的餐廳晚宴中，向輝達（Nvidia）執行長黃仁勳（Jensen Huang）懇求，希望他能接受更多資金，以此來換取更多AI GPU晶片。根據《tomshardware》報導指出，埃里森把這場晚宴描述成一場「懇求大會」，他和馬斯克不斷請求黃仁勳接受更多的資金，以換取更多的GPU供應。而低聲下氣的哀求似乎也獲得了成效，近期甲骨文就宣布將打造一個由131,072個輝達GB200 NVL72 Blackwell GPU組成的Zettascale AI超級集群（supercluster），其AI運算能力達到2.4 ZettaFLOPS，甚至超過了馬斯克的xAI公司所擁有的孟菲斯（Memphis）超級集群。為了支持如此龐大的AI計劃，甲骨文已獲准建造3座模塊化核反應堆。在核反應堆完工前，公司可能會效仿馬斯克的做法，使用大型移動發電機來滿足電力需求。報導中也提到，儘管甲骨文在雲端基礎設施（OCI）的規模不及亞馬遜、微軟和Google等巨頭，但甲骨文在靈活性和客製化服務方面十分具有優勢。OCI能夠滿足特定客戶的獨特需求，甚至提供運行在自有網絡基礎設施上的離線服務器，以確保最高級別的安全性。埃里森對AI的未來發展持樂觀態度，他預測未來三年內，前沿AI模型的訓練費用將達到驚人的1000億美元。這一觀點與Anthropic CEO阿莫代（Dario Amodei）的看法不謀而合。
Meta計劃23日發布「最強Llama 3模型」 外媒：將以4050億參數制霸市場
OpenAI開發的ChatGPT為AI聊天機器人競賽揭開序幕，如今，Meta帶上Llama 3新模型加入戰局。美東時間7月12日周五，媒體援引一名Meta Platforms的員工消息稱，Meta計劃7月23日發佈旗下第三代大語言模型（LLM）Llama 3的最大版本。這一最新版模型將擁有4050億参数，多模態模型，這意味着它將能夠理解和生成圖像和文本。去年7月Meta發佈的Llama 2有三個版本，最大版本70B的參數規模爲700億。今年4月，Meta發佈Llama 3Meta，稱它爲「至今爲止能力最強的開源LLM」。當時推出的Llama 3有8B和70B兩個版本。Meta CEO祖克伯當時稱，大版本的Llama 3將有超過4000億參數。Meta並未透露會不會將4000億參數規模的Llama 3開源，當時它還在接受訓練。對比前代，Llama 3有了質的飛躍。Llama 2使用2萬億個token進行訓練，而訓練Llama 3大版本的token超過15萬億。Meta稱，由於預訓練和訓練後的改進，其預訓練和指令調優的模型是目前8B和70B兩個參數規模的最佳模型。在訓練後程序得到改進後，模型的錯誤拒絕率（FRR）大幅下降，一致性提高，模型響應的多樣性增加。在推理、代碼生成和指令跟蹤等功能方面，Llama 3相比Llama 2有極大改進，使Llama 3更易於操控。4月Meta展示，8B和70B版本的Llama 3指令調優模型在大規模多任務語言理解數據集（MMLU）、研究生水平專家推理（GPQA）、數學評測集（GSM8K）、編程多語言測試（HumanEval）等方面的測評得分都高於Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的預訓練Llama 3多種性能測評優於Mistral、Gemma、Gemini和Mixtral。英偉達高級科學家Jim Fan認爲，Llama 3的推出已經脫離了技術層面的進步，更是開源模型與頂尖閉源模型可分庭抗禮的象徵。不同於OpenAI等開發商，Meta致力於開源LLM，不過，這個賽道也越來越擁擠。谷歌、特斯拉CEO馬斯克旗下的xAI和Mistral等競爭對手也發佈了免費的AI模型。據傳OpenAI正在準備GPT-5模型，有望再次超越業界其他公司，帶來更多強大功能。對此Meta祖克伯向外媒透露，Meta已在考慮Llama 4、Llama 5的開發。
AI正夯！馬斯克不甘示弱：要為xAI打造史上最大超級電腦
眼看OpenAI、微軟及谷歌等科技大廠接連推出更強大的AI模型，當年共同創辦OpenAI的馬斯克（Elon Musk）也不甘示弱，近日宣稱將為他創立的AI公司xAI打造史上最大超級電腦，用來訓練新一代AI聊天機器人Grok。The Information新聞網站報導，馬斯克在近日一場投資人說明會上表示，xAI打算和甲骨文合作打造一台超級電腦，並宣稱這台超級電腦內建的輝達H100晶片數量將是目前的4倍之多，目標在明年秋季開發完成，屆時將成為史上最大超級電腦。馬斯克在今年初曾表示，xAI訓練Grok 2動用大約2萬個H100晶片，估計Grok3及未來新一代AI模型將動用10萬個H100晶片來訓練。H100晶片是輝達專為AI運算開發的GPU晶片，讓輝達成為全球AI晶片龍頭，但市場需求火熱也讓H100晶片難以取得，估計馬斯克將動用各種手段爭取供貨。
升級版聊天機器人「Grok-1.5」下周推出 馬斯克放狠話：完勝目前所有AI
為了與OpenAI和Google競爭，特斯拉執行長馬斯克（Elon Musk）去年11月5日發布了首個AI大模型產品Grok。馬斯克周五（29日）在其社群媒體平台X上發布貼文稱，人工智慧新創公司xAI的最新聊天機器人「Grok-1.5」將於下周在其社群媒體平台X上推出，更豪言其表現應該在「所有指標上都會領先目前的AI」。據了解，Grok-1.5似乎比其前身Grok-1有了明顯的升級。xAI表示，Grok-1.5得益於改進的推理能力，尤其是在編碼和數學相關任務的表現有顯著提升。在流行的數學基準測試MATH 中的評分為50.6%，在GSM8K的測試中的評分為90%，分別略遜於GPT-4的52.9%和92%，但比Grok-1高出一倍多；在編碼的相關測試HumanEval中，該模型拿到74.1%的評分，比Grok-1 高出十多個百分點，並優於GPT-4的67%。另外，Grok-1.5相比Grok-1的前後文銜接能力明顯提升。Grok-1.5的上下文有對應12.8萬個原始文字位元處理能力。據悉，上下文視窗較小的模型往往會遺忘甚至是最近的對話內容，而上下文較大的模型則可以避免這一缺陷，而且還能更好地掌握所接收的資料流，同時也能處理、理解更完整內容，藉此處理更自然的對話互動，以及更複雜的指令。同時，馬斯克也表示將有更多的X用戶獲得Grok聊天機器人的使用權。這裡特別指那些支付每月8美元的X Premium方案用戶。值得一提的是，馬斯克在發布的消息中補充道，「Grok 2應該在所有指標上超越當前的人工智慧，目前該模型正在訓練中。」
xAI融資上看60億美元 馬斯克欲挑戰龍頭
據外媒報導，馬斯克（Elon Musk）旗下的人工智慧新創企業xAI正在洽談融資60億美元（約新台幣1877億元），以挑戰行業龍頭公司OpenAI。知情人士稱，馬斯克的談判對象包括來自香港、日本和韓國的投資者，他還將目光投向了中東的主權財富基金。The Information引述知情人士消息透露，近幾周，馬斯克正在向全球各地的富人和投資者洽談價值60億美元的融資，估值達到200億美元（約新台幣6257億元）；談判仍在進行中，馬斯克還在試探投資者對這筆投資的興趣。據悉，摩根士丹利目前正在協調融資活動，該公司曾於2022年幫助馬斯克槓桿收購了社交媒體平台推特（現已更名為X）。馬斯克是OpenAI的聯合創始人之一，這家公司是他與OpenAI執行長阿特曼（Sam Altman）等人於2015年創立的。不過，馬斯克在2018年就離開了OpenAI。有媒體報導稱，馬斯克與OpenAI其他管理層發生了衝突，包括在對待人工智慧安全的立場上，最終促使他離開了該公司。去年7月，馬斯克正式宣佈創立自己的人工智慧公司xAI，該公司的團隊來自OpenAI、DeepMind以及其他頂級人工智慧研究公司。根據去年12月該公司向美國證券交易委員會（SEC）提交的文件顯示，該公司正尋求從股權投資者那裏籌集10億美元資金，文件顯示xAI當時已向目標融資1.35億美元。xAI去年11發佈Grok聊天機器人，Grok正在使用X上的社交媒體貼文進行訓練，使其能夠比競爭對手多出更多新答案。值得一提的是，上個月有媒體報導，OpenAI正在進行新一輪融資談判，其目標估值超過1000億美元。
X「更新隱私條款」收集數據訓練AI 馬斯克：僅限公開內容
馬斯克（Elon Musk）旗下社交平台X（前身為Twitter）最近更新了隱私條款，計畫使用收集到的數據來訓練人工智慧（AI）模型。該隱私條款中明確表示，可能使用收集到的資訊以及公開訊息，來訓練機器學習演算法、AI模型等。馬斯克對此補充稱，「只會使用公開數據，不會使用任何使用者私訊或隱私內容」。AI的三大核心要素，就是算力、演算法和數據，其中數據是AI算法模型的「飼料」，有關技術的訓練，通常需要的巨大數據量餵食。目前X並未計畫推出應用AI技術的服務產品，但透過所收集的公開數據，可能會用於內容推薦、X Hiring平台，或馬斯克後來成立的AI公司xAI，藉此建立其AI應用技術。值得一提的是，馬斯克4月時曾指責微軟非法使用推特數據，來訓練AI，並威脅將提起訴訟。同月馬斯克提高推特數據訪問價格，起價為每月4.2萬美元，可訪問5000萬條推文。谷歌也於7月時更新隱私條款，其中明確指出，谷歌有權收集任何公開可用的數據，並將其用於其AI模型訓練。換言之，只要是谷歌能從公開管道獲得的內容，都可以拿來訓練自家的Bard模型或未來所有AI模型。在此情況下，用戶只要繼續使用谷歌服務，便是默認相關資訊可以被用來訓練谷歌AI模型。
ChatGPT每天燒掉逾2000萬元！ OpenAI驚爆已在破產邊緣
今年科技界最受矚目的事件無疑是由ChatGPT引發的人工智慧（AI）風潮，也帶動全球掀起一股AI投資狂潮。不過，開發ChatGPT的OpenAI公司卻為此燒掉大量資金，再加上用戶數的下降；新的競爭對手分食市場，以及圖形處理器（GPU）的短缺，都讓該公司營運情況岌岌可危。如果未能吸引後續投資，OpenAI可能會在2024年底申請破產。據Analytics India Magazine的報導，截至今年7月底，ChatGPT的用戶基數已進一步下降。以色列軟體和資料公司SimilarWeb便指出，與6月份的17億用戶相比，ChatGPT的7月份用戶數量則為15億，環比下降了12%，而且這還不包括「應用程式介面」（Application ProgrammingInterface，API）的使用。對此，社交媒體X上的用戶便解釋，使用者下降的主因可能是被「API蠶食」，意味著大多數公司禁止員工使用ChatGPT工作，但允許他們透過API讓大型語言模型（LLM）在不同的工作領域中發揮重要作用。與此同時，維持ChatGPT服務每天就要消耗70萬美元（約合新台幣2234萬元）左右的成本，雖然OpneAI不斷嘗試透過GPT-3.5與GPT-4實現盈利，但目前還未能產生足夠的收益，甚至無法實現收支平衡的狀態。此外，其他廠商陸續推出的生成式人工智慧及一些開源模型，也對OpenAI的市場造成一定的影響。例如Meta的Llama 2就與微軟合作，允許大眾將該模型用於商業目的。不過競爭對手不只如此，隨著前全球首富馬斯克（Elon Musk）在今年7月12日創辦人工智慧初創企業「xAI公司」（xAI Corp.），ChatGPT顯得更岌岌可危。為了取得成功，馬斯克甚至下訂了10000個NVIDIA GPU。而GPU的短缺更是讓情勢雪上加霜。OpenAI執行長阿特曼（Sam Altman）便曾經點出公司的困境之一，就是市場上的GPU短缺已導致該公司無法進一步訓練模型並對其進行改進。雖然微軟先前對OpenAI的100億美元投資可以使該公司暫時維持運營，但在這些因素的綜合衝擊下，OpenAI若沒有更多資金注入，很可能會在2024年底前，面臨破產的命運。