Qwen1.5大语言模型微调实践-程序员宅基地
技术标签： 语言模型 人工智能 LLaMA-Factory Qwen
在人工智能领域，大语言模型（Large Language Model，LLM）的兴起和广泛应用，为自然语言处理（NLP）带来了前所未有的变革。Qwen1.5大语言模型作为其中的佼佼者，不仅拥有强大的语言生成和理解能力，而且能够通过微调（fine-tuning）来适应各种特定场景和任务。本文将带领大家深入实战，探索如何对Qwen大语言模型进行微调，以满足实际应用的需求。
一、了解Qwen1.5大语言模型
Qwen1.5模型是Qwen的升级版，也是Qwen2的测试版。它与Qwen类似，是只有一个decoder解码器的 transformer 模型，具有SwiGLU激活、RoPE、multi-head attention多头注意力。
- Qwen1.5有7个模型尺寸：0.5B, 1.8B, 4B, 7B, 14B, 72B 模型，还外加 14B (A2.7B) MoE 模型。
- chat 聊天模型的质量得到明显提高
- 在 base 模型和 chat 模型支持多语言的能力（中文，英文等）
- 支持 32768 tokens 的上下文长度
- 所有模型启用System prompts，可以进行角色扮演
- 不再需要 trust_remote_code
二、微调GPU资源评估和环境准备
这里我使用 Llama-Factory 训练框架来对 Qwen1.5 来进行微调，微调的方法可以使用 LoRA 或 QLoRA，可以大大节省GPU资源。具体的 Llama-Factory 环境搭建方法可以看官方链接：https://github.com/hiyouga/LLaMA-Factory
三、准备微调数据集和预训练模型
（1）数据集准备
微调数据集是微调过程中的关键。我们需要根据具体任务的需求，收集并整理相关的数据。这些数据应该包含输入和对应的输出，以便模型在训练过程中学习如何从输入中生成期望的输出。这里我使用一些公开的数据集来进行微调。
更多的数据集请看链接：GitHub - hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMs
（2）Pre-training 模型准备
直接在 huggingface 下载，下载地址：Qwen
如果自己网络无法访问 huggingface ，也可以使用 HF-Mirror - Huggingface 镜像站 来进行下载也可以。
四、模型微调训练
(1)运行打开web ui 界面 按照 LLaMA-Factory 里面的教程搭建好环境之后就可以开始对模型进行微调了，执行以下命令来启动web ui 界面来进行微调：
cd LLaMA-Factory
export CUDA_VISIBLE_DEVICES=0 # use gpu0
python src/train_web.py # or python -m llmtuner.webui.interface如果想修改 网页服务的地址和端口号，直接在 src/train_web.py 修改就可以了。这里也可以代码中的 share 设置为True ，就可以把本地网络的web ui 界面作为一个 public 链接分享出去。
from llmtuner import create_ui
def main():
create_ui().queue().launch(server_name="127.0.0.1", server_port=6006, share=True, inbrowser=True)
if __name__ == "__main__":
main()（2）配置训练参数
然后根据的要求来进行配置，我的配置如下：
模型名称： Qwen1.5-7B-Chat
模型路径：填写自己本地下载的模型的路径，或者 Hugging Face 路径
微调方法：可以选用 lora, freeze, full 等
量化等级：选择 none，不进行量化，也可以启用 4/8 bit 模型量化（即 QLoRA）
提示模板：qwen
训练阶段：Supervised Fine-Tuning，也可以选 Reward Modeling, PPO, DPO, Pre-training等
数据路径：数据所在文件夹，默认为项目中的 data 文件夹
数据集：提取了 data 文件夹中的 *.json 文件，可直接选择。选择完成之后点一下“预览数据集”确认自己的数据是否正确。
其他的参数比如 学习率、训练轮数（epoch）、批处理大小、学习率调节器 等都是深度学习训练常见的参数，可以根据自己的情况选择就好。这里我使用默认的参数。
LoRA 参数设置中，可以修改 lora 秩的大小，缩放系数，权重随机丢弃的概率等参数，这里我保持默认。
所有的参数都配置好之后，点一下“预览命令”，确认命令没有问题之后，就可以点击“开始”进行训练了。训练的过程中可以看到 loss的变化曲线、训练耗时等。
五、模型微调效果测试
微调完成后，我们需要对微调后的模型进行评估，以了解其在实际任务中的性能表现。也可以在web ui 界面直接进行对话体验。
在“模型路径”中输入原始模型路径，然后在“适配器路径”中选择自己微调得到的 adapter 路径，然后点击“加载模型”，就可以开始对话聊天了。
通过终端窗口，可以看到模型成功加载
对话聊天：
参考：
1. GitHub - hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMs
智能推荐
攻防世界_难度8_happy_puzzle_攻防世界困难模式攻略图文-程序员宅基地
文章浏览阅读645次。这个肯定是末尾的IDAT了，因为IDAT必须要满了才会开始一下个IDAT，这个明显就是末尾的IDAT了。，对应下面的create_head()代码。，对应下面的create_tail()代码。不要考虑爆破，我已经试了一下，太多情况了。题目来源：UNCTF。_攻防世界困难模式攻略图文
达梦数据库的导出（备份）、导入_达梦数据库导入导出-程序员宅基地
文章浏览阅读2.9k次，点赞3次，收藏10次。偶尔会用到，记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录，执行导库操作 导出语句：./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释： cwy_init/init_123..._达梦数据库导入导出
js引入kindeditor富文本编辑器的使用_kindeditor.js-程序员宅基地
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件，可以删掉不需要要到的jsp，asp，asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件，在页面引入js文件：<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
STM32学习过程记录11——基于STM32G431CBU6硬件SPI+DMA的高效WS2812B控制方法-程序员宅基地
文章浏览阅读2.3k次，点赞6次，收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA，我们的数据线就会变为10101010，通过修改不同的内容，即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平，后半周期为低电平的状态。在SPI的通信模式中，CPHA配置会影响该实验，下图展示了不同采样位置的SPI时序图[1]。CPOL = 0，CPHA = 1：CLK空闲状态 = 低电平，数据在下降沿采样，并在上升沿移出CPOL = 0，CPHA = 0：CLK空闲状态 = 低电平，数据在上升沿采样，并在下降沿移出。_stm32g431cbu6
计算机网络-数据链路层_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输-程序员宅基地
文章浏览阅读1.2k次，点赞2次，收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决？5.如果在数据链路层不进行帧定界，会发生什么问题？6.PPP协议的主要特点是什么？为什么PPP不使用帧的编号？PPP适用于什么情况？为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
软件测试工程师移民加拿大_无证移民，未受过软件工程师的教育（第1部分）-程序员宅基地
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民，未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
随便推点
Thinkpad X250 secure boot failed 启动失败问题解决_安装完系统提示secureboot failure-程序员宅基地
文章浏览阅读304次。Thinkpad X250笔记本电脑，装的是FreeBSD，进入BIOS修改虚拟化配置（其后可能是误设置了安全开机），保存退出后系统无法启动，显示：secure boot failed ，把自己惊出一身冷汗，因为这台笔记本刚好还没开始做备份.....根据错误提示，到bios里面去找相关配置，在Security里面找到了Secure Boot选项，发现果然被设置为Enabled，将其修改为Disabled ，再开机，终于正常启动了。_安装完系统提示secureboot failure
C++如何做字符串分割（5种方法）_c++ 字符串分割-程序员宅基地
文章浏览阅读10w+次，点赞93次，收藏352次。1、用strtok函数进行字符串分割原型： char *strtok(char *str, const char *delim);功能：分解字符串为一组字符串。参数说明：str为要分解的字符串，delim为分隔符字符串。返回值：从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它：strtok函数线程不安全，可以使用strtok_r替代。示例：//借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
2013第四届蓝桥杯 C/C++本科A组 真题答案解析_2013年第四届c a组蓝桥杯省赛真题解答-程序员宅基地
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯：无论如何都要记日记。他的日记有个与众不同的地方，他从不注明年月日，而是用一个整数代替，比如：4210后来人们知道，那个整数就是日期，它表示那一天是高斯出生后的第几天。这或许也是个好习惯，它时时刻刻提醒着主人：日子又过去一天，还有多少时光可以用于浪费呢？高斯出生于：1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
基于供需算法优化的核极限学习机(KELM)分类算法-程序员宅基地
文章浏览阅读851次，点赞17次，收藏22次。摘要：本文利用供需算法对核极限学习机(KELM)进行优化，并用于分类。
metasploitable2渗透测试_metasploitable2怎么进入-程序员宅基地
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功，进入系统4、测试如下：二、MySQL弱密码登录：1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功，进入MySQL系统3、测试效果：三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
Python学习之路：从入门到精通的指南_python人工智能开发从入门到精通pdf-程序员宅基地
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南，从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文，您将能够掌握Python编程的核心概念，为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf