OpenAI开放Fine

OpenAI近期宣布了对其微调API的一系列改进，并扩展了其定制模型计划，旨在帮助开发者提高模型性能，减少延迟，提升准确性，并降低成本。这些改进包括了对GPT-3.5模型的自助微调API的增强，该API自2023年8月推出以来，已被数千家组织用来训练数十万个模型。

Part.01

新的微调 API 功能

微调功能使得模型能够更深入地理解内容，并通过特定任务的额外知识增强模型的现有能力和知识。微调的常见用途包括训练模型以在特定编程语言中生成更好的代码，以特定格式总结文本，或根据用户行为制定个性化内容。

例如，全球就业匹配和招聘平台Indeed，为了简化招聘流程，推出了一项功能，向求职者发送个性化建议，突出显示与其技能、经验和偏好相关的工作。Indeed通过微调GPT-3.5 Turbo模型来生成更高质量、更准确的解释，从而将提示中的令牌数量减少了80%，使其能够从每月向求职者发送不到一百万条消息扩展到二千万条。

为了给开发者提供对其微调工作的更多控制，OpenAI引入了以下新特性：

• 基于时代的检查点创建：在每个训练时代自动生成一个完整的微调模型检查点，减少了后续重训练的需求，特别是在过拟合的情况下。
• 比较性游乐场：一个新的并排游乐场用户界面，用于比较模型质量和性能，允许人类评估多个模型或微调快照对单个提示的输出。
• 第三方集成：支持与第三方平台（从本周开始包括Weights and Biases）的集成，让开发者可以共享详细的微调数据到他们的其他堆栈。
• 全面验证指标：能够计算整个验证数据集的指标，如损失和准确性，而不是一个抽样批次，提供更好的模型质量洞察。
• 超参数配置：能够从仪表板配置可用的超参数（而不仅仅是通过API或SDK）。
• 微调仪表板改进：包括配置超参数、查看更详细的训练指标和从先前的配置重新运行工作的能力。

Part.02

扩展我们的定制模型计划

辅助微调

此外，OpenAI还扩展了其定制模型计划，提供了协助微调服务。这项服务是与OpenAI的一组专业研究团队合作，针对特定领域训练和优化模型。

例如，韩国的电信运营商SK Telecom与OpenAI合作，针对电信领域的客户服务对话，对GPT-4进行了微调，实现了显著的性能提升。

自定义训练模型

在某些情况下，组织需要从头开始训练一个完全定制的模型，以理解他们的业务、行业或领域。完全定制的训练模型通过使用新颖的中期训练和后期训练技术，将特定领域的新知识融入到模型训练过程中。

例如，AI法律工具Harvey与OpenAI合作，创建了一个针对案例法的定制训练大型语言模型。通过团队对模型训练过程的每一步进行修改，包括领域特定的中期训练和定制的后期训练过程，并结合专家律师的反馈，最终的模型在实际回应中实现了83%的增长，律师们97%的时间更喜欢定制模型的输出，而不是GPT-4。

OpenAI相信，在未来，绝大多数组织将开发针对其行业、业务或用例个性化的定制模型。通过一系列可用的技术来构建定制模型，各种规模的组织都可以开发个性化模型，以实现更有意义、更具体的AI实施影响。关键是明确界定用例，设计和实施评估系统，选择正确的技术，并准备随时间迭代，以使模型达到最佳性能。大多数组织可以通过自助服务微调API快速看到有意义的结果。对于需要更深入微调模型或将新的领域特定知识融入模型的组织，OpenAI的定制模型计划可以提供帮助。

本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。原始发表：2024-04-05，如有侵权请联系 cloudcommunity@tencent 删除配置性能apiopenai模型