xAI开源Grok，3140亿参数可商用

Grok 是一款模仿《银河系漫游指南》的人工智能。它旨在回答几乎所有问题，更难的是，甚至建议要问什么问题！

——Grok

Grok

今日凌晨，马斯克发布了 3140 亿个参数的专家混合模型 Grok-1 的权重和架构。

Grok-1 是一个由 xAI 从头开始训练的 3140 亿参数混合专家模型。

这是 Grok-1 预训练阶段的原始基础模型检查点，该阶段于 2023 年 10 月结束。这意味着该模型没有针对任何特定应用（例如对话）进行微调。在 Apache 2.0 许可证下发布权重和架构。

xAI 的几个有前景的研究方向：

• 通过工具辅助进行可扩展的监督。使用外部工具验证中间步骤以及在必要时寻求人类反馈来协助进行可扩展的监督。
• 与安全性、可靠性和接地性的形式验证相集成。
• 长上下文理解和检索。在特定环境下有效发现有用知识的训练模型是产生真正智能系统的核心。
• 对抗鲁棒性对提高LLMs、奖励模型和监控系统的稳健性特别感兴趣。
• 多式联运能力。为 Grok 配备这些不同的感官，以实现更广泛的应用，包括实时交互和帮助。

要开始使用该模型，请按照 github/xai-org/grok 上的说明进行操作。

权重：

代码语言：javascript代码运行次数：0运行复制

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr%3A1337%2Fannounce

参数

型号详情

• 基础模型基于大量文本数据进行训练，未针对任何特定任务进行微调。
• 314B 参数混合专家模型，其中 25% 的权重在给定代币上处于活动状态。
• xAI 于 2023 年 10 月使用基于 JAX 和 Rust 的自定义训练堆栈从头开始训练。

根据 Grok 提出的提示词使用 Midjourney 生成：神经网络的 3D 插图，具有透明节点和发光连接，以不同粗细和颜色的连接线展示不同的权重。

研究

为 Grok 提供动力的引擎是 Grok-1，它是我们的前沿产品 LLM，是我们在过去四个月内开发的。Grok-1 在这段时间经历了多次迭代。

宣布 xAI 后，我们训练了一个具有 330 亿个参数的原型 LLM (Grok-0)，在标准 LM 基准上接近 LLaMA 2 (70B) 功能，仅使用其一半的训练资源。

在过去的两个月里诞生了 Grok-1，这是一种最先进的语言模型，功能更加强大，在 HumanEval 编码任务上实现了 63.2%，在 HumanEval 编码任务上实现了 73%。

使用一些旨在衡量数学和推理能力的标准机器学习基准进行了一系列评估。

• GSM8k：中学数学应用题，（Cobbe et al. 2021），使用思维链提示。
• MMLU：多学科多项选择题（Hendrycks et al. 2021）提供了 5 个上下文示例。
• HumanEval：Python 代码完成任务（Chen 等人，2021），针对 pass@1 进行零样本评估。
• 数学：用 LaTeX 编写的初中和高中数学问题（Hendrycks 等人，2021），以固定的 4 次提示进行提示。

本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2024-03-18，如有侵权请联系 cloudcommunity@tencent 删除开源编码基础模型系统