炼丹炉

本篇文章是书生浦语大模型微调实战系列第四篇。

XTuner概述

1.1 XTuner

一个大语言模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。

1.2 支持的开源LLM (2023.11.01)

• InternLM ✅
• Llama，Llama2
• ChatGLM2，ChatGLM3
• Qwen
• Baichuan，Baichuan2
• ......
• Zephyr

1.3 特色

• 傻瓜化： 以配置文件的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。
• 轻量级： 对于7B参数量的LLM，微调所需的最小显存仅为 8GB消费级显卡，colab。

1.4 微调原理

有一个超大的玩具，现在你想改造这个超大的玩具。对整个玩具进行全面的改动会非常昂贵。

※ 因此，你找到了一种叫 LoRA 的方法：只对玩具中的某些零件进行改动，而不是对整个玩具进行全面改动。

※ 而 QLoRA 是 LoRA 的一种改进：如果你手里只有一把生锈的螺丝刀，也能改造你的玩具。

• Full :

  发布者：admin，转转请注明出处：http://www.yc00.com/web/1755000250a5225460.html