Image caption
近年來，大型語言模型（LLM）如 OpenAI GPT-4o 和 Anthropic Claude 等，在自然語言處理領域取得了令人矚目的成就。它們不僅能撰寫文章、翻譯語言，甚至還能生成各種創意文本
然而，這些看似無所不能的 AI 模型，卻敗在一個簡單的問題：它們無法準確計算「Strawberry」（草莓）一詞中字母「r」出現的次數。
oh pic.twitter.com/K2Lr9iVkjQ
— Rob DenBleyker (@RobDenBleyker) August 26, 2024
為什麼 AI 會犯這種錯誤？
這看似荒謬的現象，其實源於 LLM 的工作原理。LLM 並非像人類一樣理解語言，而是透過統計學習大量的文本資料，來預測下一個詞或字元。它們將文字分解成更小的單位，如單字、音節或字母，然後將這些單位轉換成數位表示。雖然 LLM 能夠根據上下文關聯，生成符合語法的句子，但它們並不真正理解這些單字或字母所代表的意義。
大多數 LLM 都採用了 Transformer 架構。這種架構雖然在處理序列資料方面表現出色，但卻存在一些固有的限制。例如，Transformer 在處理不同語言時，會遇到標記化（tokenization）的問題。不同的語言在詞彙分割上存在差異，這使得 LLM 難以統一處理各種語言。
影像生成模型面臨類似挑戰
除了 LLM 之外，影像生成模型如 Midjourney 和 DALL-E 也面臨著類似的問題。這些模型雖然能夠生成逼真的圖像，但在處理細節方面仍有不足。例如，它們在生成人手或筆跡等細節時，常常出現錯誤。
面對 LLM 的這些局限，OpenAI 正在開發一款代號為「Strawberry」（草莓）（前身為「Q*」）的新型 AI 模型。這款模型旨在提升 LLM 的推理能力，使其能夠解決更複雜的問題。此外，Google DeepMind 也推出了 AlphaProof 和 AlphaGeometry 2 等專門用於數學推理的 AI 系統（屏東縣佳冬鄉）。
Why AI can’t spell ‘strawberry’
（首圖來源：pixabay）
延伸閱讀：
OpenAI 神祕「草莓」專案曝光，前身「Q*」、期望提高 AI 推理能力
OpenAI 著手開發新工具，幫助研究人員辨識內容真實性
機器能解數學難題？Google DeepMind AI 勇奪奧賽銀牌，震撼學術界
