AI也有幻覺！檢測各家AI模型「幻覺度」　ChatGPT「3%錯誤」…這家巨頭竟然墊底

隨著生成式聊天機器人CahtGPT在全球的爆火，AI機器人可以說是開始逐步進入人們的日常生活中，不少人都會開始使用AI機器人來輔助自己的工作。但現在就有公司發明檢測AI，專門針對各家廠商的AI機器人進行內容「正確性」上的檢測，並且將各家機器人「幻覺度」進行排名，其中冠軍就是大家所熟知的ChatGPT，而排名最末的竟然是Google所推出的PalM 2。

根據《toms hardware》報導指出，先前就有第三方研究機構在研究各家AI機器人之後，確定了AI機器人會有「幻覺（hallucinations）」的產生，AI機器人會憑空編造一些不存在的資訊來回答。

先前其實就有傳出類似的案例，美國紐約律師事務所「Levidow, Levidow & Oberman」施瓦茨（Steven A Schwartz）就在一次訴訟中，提出由ChatGPT所撰寫的文件，而其中引用了6起步存在的案件當作判例，結果遭到對手公司法律團隊識破，更被法院要求解釋。

而且根據研究人員的研究，他們發現短時間內似乎無法解決AI機器人產生幻覺的問題。研究AI科技的布朗大學教授文卡達蘇巴馬尼安（Suresh Venkatasubramanian）也表示，與其說AI機器人會虛構不存在的事情，還不如說，AI機器人所產生的回答比較像是小孩子隨口說出的故事，因為不懂得事情的真偽。

為了釐清AI幻覺度的問題，新創公司Vectara就進行了一項研究，以各家廠商推出的AI機器人進行法律方面的測試，Vectara提供了800多份文件給AI，接著要求這些AI依照要求來進行文件的內容摘要，最後將AI生成的結果輸入到自己研發的檢測AI中。

其中，GTP 4與GTP 4 Turbo的正確性為97%、幻覺度3%；GPT 3.5 Turbo的正確性為96.5%、幻覺度3.5%；Meta推出的Llama 2 70B正確性為94.9%、幻覺度5.1%；Llama 2 7B正確性為94.4%、幻覺度5.6%。其餘各家的AI機器人正確度均有90%以上，幻覺率也是10%以下。

但在其中，Google所推出的PalM 2，其正確率為87.9%，幻覺率為12.1%；而PalM 2 Chat的正確率為72.8%，幻覺率為27.2%。