埃隆-马斯克的人工智能公司 xAI 发布 Grok-1 模型的权重和架构

据 PANews 报道，埃隆-马斯克（Elon Musk）的人工智能公司 xAI 宣布发布其拥有 3140 亿参数的混合专家模型 Grok-1 的权重和架构。这个大型语言模型是由 xAI 使用混合专家模型架构从头开始训练的，其中 25% 的权重在给定标记上处于活动状态。基础模型权重和网络架构现在可以在 Apache 2.0 许可下使用。 Grok-1 的预训练阶段已于 2023 年 10 月完成，目前发布的版本是原始基础模型检查点，未针对任何特定应用进行微调。有兴趣使用该模型的用户可遵循 github.com/xai-org/grok 上提供的指南。