DailyNews
vip

IT 之家今日發文表示,AI 模型盲堆體積實際上效果並不見得更好,更多要看訓練數據的質量,微軟日前最近發布了一款13 億參數的語言模型phi-1,採用“教科書等級”的高品質資料集訓練而成,據稱“實際效果勝於千億參數的GPT 3.5”。該模型以Transformer 架構為基礎,微軟團隊使用了包括來自網絡的“教科書等級”數據和以GPT-3.5 經過處理的“邏輯嚴密的內容”,以及8 個英偉達A100 GPU,在短短4 天內完成訓練。微軟團隊表示,比起增加模型的參數量,通過提高模型的訓練數據集質量,也許更能強化模型的準確率和效率,於是,他們利用高質量數據訓練出了phi-1 模型。在測試中,phi-1 的分數達到50.6%,比起1750 億參數的GPT-3.5(47%)還要好。微軟還表示,phi-1 接下來會在HuggingFace 中開源,而這不是微軟第一次開發小型LLM,此前,他們打造一款130 億參數的Orca,使用了GPT-4 合成的數據訓練而成,表現也同樣比ChatGPT 更好。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 留言
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate APP
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)