基于chatGLM-6B模型微调实现1

lora预训练
chatGLM-All-In-One.7z 懒人包下载
链接：https://pan.baidu.com/s/1vBFhEVPgIm6qAVaE4Bdfyg?pwd=d6zz

提取码：d6zz

上传文件并解压缩

提取完整路径文件

7z x -y chatGLM-All-In-One.7z -o/home/user/data
拉取依赖

pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
pip3 install tensorboard gradio mdtex2html -i https://pypi.tuna.tsinghua.edu.cn/simple

进行训练
训练前先上传自己的数据集 answers.json

编辑保存训练脚本

编辑新脚本

vi 03.sh

输入如下并保存

python3 finetune.py --dataset_path data --lora_rank 32 --per_device_train_batch_size 2 --gradient_accumulation_steps 1 --max_steps 400 --save_steps 50 --save_total_limit 2 --learning_rate 1e-4 --fp16 --remove_unused_columns false --logging_steps 50 --output_dir output

执行脚本

sh 03.sh
启动服务

python3 web_demo.py

注意事项（揽睿星舟云算力平台）
使用揽睿星舟云算力平台启动服务时，需要先获取本机IP

hostname -I
然后复制本机IP，修改web_demo.py最后一行

原始

demo.queue().launch(share=True, inbrowser=True)

改为

demo.queue().launch(share=True, inbrowser=True, server_name='本机IP', server_port=27777)

然后再启动服务