马斯克的AI公司xAI正式公开Grok-1源代码

PANews 3月18日消息,马斯克的人工智能公司xAI宣布开放其3140亿参数混合专家模型Grok-1的权重和架构。Grok-1是一个从头开始由xAI训练的大型语言模型,采用混合专家模型架构,其中25%的权重在给定令牌上处于活跃状态。该模型的基本模型权重和网络架构现已根据Apache 2.0许可证开放。Grok-1的预训练阶段已于2023年10月结束,目前发布的是原始基础模型检查点,未针对任何特定应用进行微调。有兴趣使用该模型的用户可以按照github.com/xai-org/grok上的指南操作。

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 1
  • 分享
评论
0/400
GateUser-b4b5b970vip
· 2024-08-06 01:39
温兰博?🏎️
查看原文回复0
交易,随时随地
qrCode
扫码下载 Gate APP
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)