語言模型開發似乎達了某種程度的天花板，根據外媒報導，OpenAI 即將推出的「Orion」模型性能只比 GPT-4 略勝一籌，這種進展趨緩的情況恐怕影響整個 AI 產業
外媒 The Information 報導，OpenAI 下一代大型語言模型代號 Orion，性能提升比預期小，GPT-4 到 Orion 的品質改善明顯不如 GPT-3 到 GPT-4 的改善差異。
重要的是，The Information 引述知情人士消息指出，Orion 在程式設計等領域並未突破以往，只在語言能力方面有所改善，而且模型運行成本可能比過往更高。
OpenAI 研究人員指出，高品質訓練資料不足是語言模型進展趨緩的原因之一，大多數公開資料已被用於模型訓練。為此，OpenAI 內部成立一組「基礎團隊」（Foundations Team），由研究副總裁 Nick Ryder 帶領，期望解決這方面問題。
Orion 是以 GPT-4 和 o1 的合成資料進行部分訓練，但據 OpenAI 員工說法，這種方法有新模型在某些方面與舊模型相似的風險。
近日與 Y Combinator 執行長陳嘉興（Garry Tan）訪談中，OpenAI 執行長奧特曼（Sam Altman）對模型開發抱持樂觀態度。他表示通往通用人工智慧（Artificial General Intelligence，AGI）的道路很明確，需要創造性地利用現有模型，可能意指語言模型與 o1、AI 代理的推理方法結合以達到目的。
不只 OpenAI 有語言模型進展趨緩的問題，外媒 The Verge 近期報導，Google 即將推出的 Gemini 2.0 未能達到內部目標。據傳新創 Anthropic 暫停旗艦版本 Calude 3.5 Opus 開發，先釋出 Calude 3.5 Sonnet，避免讓用戶和投資人失望。
- OpenAI Shifts Strategy as Rate of ‘GPT’ AI Improvements Slows
（首圖來源：Unsplash）
延伸閱讀：
- 一切都是算力不足的錯！OpenAI 延後 GPT-5、DALL·E 及 Sora 發表
- GPT-5 有望問世？OpenAI 傳 12 月前發表下一代模型「Orion」
- OpenAI DevDay 發表四大功能，Realtime API 助開發者建立 AI 語音對話
