众力资讯网

使用云 GPU 训练 / 微调 AI 模型完整流程(新手优先 QLoRA 微调大

使用云 GPU 训练 / 微调 AI 模型完整流程(新手优先 QLoRA 微调大模型)
核心思路:云 GPU 按小时计费,不用时关机,不扣钱;新手不要从头训练大模型,只用 QLoRA 微调开源基座(Qwen、Llama3 等),单卡就能跑 7B 模型。
一、先选云 GPU 平台(两类)
✅ 国内平台(国内访问、实名、中文,推荐新手)
阿里云 PAI / DSW:有预装 PyTorch 镜像,Jupyter Notebook 网页直接写代码,可挂载 OSS 存储放数据集和模型文件Alibaba Cl...
腾讯云 HAI / TI-ONE:HAI 最简单,一键拉起 GPU 实例,自带 JupyterLab,开箱即用;TI-ONE 适合正式训练任务,内置大模型微调模板腾讯云
华为 ModelArts:适合国产算力,可视化训练作业提交
✅ 海外平台(带宽大,HuggingFace 下载模型更快,需境外支付)
RunPod、Lambda Labs、Paperspace。适合想低成本跑 RTX3090/A100,按量付费,SSH 连接。
免费入门:Google Colab(免费 T4 显卡,算力弱,只能跑小 demo,长时间训练容易断线)
显卡规格怎么选(QLoRA 微调)
7B 模型 QLoRA:≥10G 显存,推荐 T4(16G) / RTX3090(24G)
13B 模型 QLoRA:24G 显存起步(A10G/3090)
70B 模型:需要 A100 40G/80G 多卡,成本很高
提示:优先抢占式实例,价格便宜一半;缺点:算力可能被回收,适合测试;正式训练用按需实例。
二、完整操作步骤(通用,国内平台为例)
1. 注册、实名认证、充值
国内云平台必须实名。少量充值即可,微调一次 7B 模型通常几十块钱。
2. 创建 GPU 实例
进入控制台,新建交互式开发实例(Notebook/DSW/HAI)
选择镜像:PyTorch 镜像(预装 CUDA、Python),不要从零装环境
选择 GPU 型号、系统盘大小:至少 50GB(模型 + 数据集很占空间)
启动实例,等待几分钟
两种使用方式:
网页 JupyterLab(新手首选,不用 SSH,浏览器直接写代码)
SSH 远程连接(适合上传大文件、跑脚本)
3. 上传数据集、准备代码
方案 A:Jupyter 网页上传小文件
直接网页上传 json 数据集(几百 KB~ 几十 MB)。
方案 B:对象存储(推荐大数据)
阿里云 OSS / 腾讯 COS,把数据集、基座模型放对象存储,挂载到云机器。优点:关机后文件不会丢失,实例销毁数据还在。
数据集格式还是对话 json,和本地微调完全一致:
json
[
{"instruction":"xxx","output":"xxx"}
]
4. 安装训练环境(推荐 Llama Factory)
LlamaFactory 是一键微调框架,新手首选。
bash
安装llama-factory
pip install "llamafactory[torch]"
或者用 Axolotl。环境装好后,直接写 yaml 配置文件,设置 QLoRA、基座模型、数据集路径、epoch、学习率。
模型下载:可以 HuggingFace / ModelScope 下载 Qwen 等开源基座,在云主机内 wget 下载。
5. 启动训练,监控日志
bash
LlamaFactory示例启动命令
llamafactory-cli train your_config.yaml
看 loss 损失:loss 稳定下降 = 正常;震荡 / 飙升 = 数据或者参数错误
可以用 SwanLab、Wandb 网页可视化看训练曲线
重要:设置定期保存 checkpoint 断点,防止实例被中断,支持续训
6. 训练完成:下载 LoRA 权重 / 合并模型
训练输出的是 LoRA 适配器(体积很小,几十 MB)。
两种选择:
直接保存 LoRA,推理时加载基座 + LoRA,不改动原始大模型
把 LoRA 合并到基座模型,得到完整模型文件,下载到本地保存
模型文件很大!建议先存到云对象存储,再下载,不要直接从实例下载大文件。
7. 关闭实例(非常重要,省钱!)
训练完成 / 暂停,一定要停止实例!
云 GPU 开机持续计费,哪怕你没在跑代码。只保留对象存储,存储费用极低。
三、两种使用模式区别
交互式 Notebook(JupyterLab)
适合调试、试跑小样本、改代码。缺点:长时间训练容易断连。
提交离线训练作业(PAI/TI-ONE 训练任务)
提交脚本后后台跑,就算你电脑关了也继续训练,自动保存断点,适合长时间正式微调,推荐正式训练用这个。