BlogJava-paulwong-随笔分类-AI-FINE-TUNNING

微调案例

paulwong — Wed, 10 Sep 2025 05:25:00 GMT

我如何用 Prompt 工程将大模型调教成风控专家

https://my.oschina.net/u/4090830/blog/18690981

paulwong 2025-09-10 13:25 发表评论

ai预测足球资源

paulwong — Fri, 18 Apr 2025 17:07:00 GMT

基于机器学习的2022世界杯预测实战

https://www.showmeai.tech/article-detail/400

AI 竞彩赛事预测工具

https://www.mysports.ai/cn

paulwong 2025-04-19 01:07 发表评论

微调训练的数据集

paulwong — Fri, 21 Mar 2025 13:52:00 GMT

使用trl库做微调时, 对数据集的要求是:

如果是多轮对话场景:

jsonl 文件，且需符合以下要求:

1.每行是一个独立的 JSON 对象;

2 每个对象须包含一个键名为 messages 的数组，数组不能为空;

3.messages 中每个元素必须包含 role 和 content 两个字段:

4.role 只能是 system,user 或 assisiant;

5.如果有 system 角色消息, 需在数组首位;

6.第一条非 system 消息必须是 user 角色;

7.user 和 assisiant 角色的消息应当交替、成对出现，不少于1对;

如果是指令微调场景:

jsonl 文件，且需符合以下要求:

1.每行是一个独立的 JSON 对象;

2 每个对象须包含且只能包含一个键名为 text 的键值对，值不能为空;

paulwong 2025-03-21 21:52 发表评论

大模型训练的几个阶段

paulwong — Tue, 18 Mar 2025 05:14:00 GMT

大模型开发出来后, 一般要经过以下几个阶段的训练:

预训练(Pre-Trained)

单纯提供文本: {"text":"..."}

训练模型由第一个文字开始, 预测后面的文字, 直到结束.

这种模型只会做完成文本的任务

监督微调(Supervised Fine Turning)

为了使模型能完成根据指令完成回答, 而不是随机生成回答

提供的文本: {"instruction":"...", "output":"..."}

高效参数微调(Parameter Efficient Fine Turning)

只调整部分参数, 具体实现方法有LoRA

参考:

https://github.com/huggingface/smol-course/blob/main/1_instruction_tuning/notebooks/sft_finetuning_example.ipynb

paulwong 2025-03-18 13:14 发表评论

搭建llamafactory微调、评估、测试和量化环境

paulwong — Thu, 16 Jan 2025 08:54:00 GMT

0. 配置环境变量

HF_ENDPOINT=https://hf-mirror.com
HF_HOME=/root/autodl-tmp/paul/tools/huggingface

1. 本机安装python 3.10, 并设置软件源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip config set global.index-url https://mirrors.huaweicloud.com/repository/pypi/simple

2. 安装miniconda

https://juejin.cn/post/7078965942968909854

3. 新建一个环境, 并激活

conda create -n quantization python=3.12

2. 本机安装pytorch2.5.1+cuda12.4

pip3 install torch torchvision torchaudio

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

3. clone llamafactory源码

git clone https://github.com/hiyouga/LLaMA-Factory

4. llamafactory本地安装依赖

pip install -e .

pip install -e .["vllm","gptq"]

5. 启动webui

llamafactory-cli webui

6. 在页面中填入相关参数进行操作

paulwong 2025-01-16 16:54 发表评论

微调资源

paulwong — Wed, 15 Jan 2025 09:56:00 GMT

Fine-tune Llama 3.1 Ultra-Efficiently with Unsloth

https://huggingface.co/blog/mlabonne/sft-llama3

A beginners guide to fine tuning LLM using LoRA

https://zohaib.me/a-beginners-guide-to-fine-tuning-llm-using-lora/

【Day 23】調教你的 AI 寵物：用微調讓 LLM 乖乖聽話

https://ithelp.ithome.com.tw/articles/10346441

paulwong 2025-01-15 17:56 发表评论

AI微调框架axolotl安装

paulwong — Sun, 12 Jan 2025 08:37:00 GMT

1. N卡驱动和toolkit安装

https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=runfile_local

2. python和mini-conda安装

基本是要下载安装包安装,
python下载地址：https://repo.huaweicloud.com/python/3.12.8/
mini-conda下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/
conda清华资源：https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/

3. 新建一个conda环境

conda create -n axolotl python=3.12

4. cuda版本的pytorch安装

https://download.pytorch.org/whl/cu124/torch-2.5.0%2Bcu124-cp311-cp311-linux_x86_64.whl#sha256=5e3f4a7ba812517c2c1659857b5195f287a288fbd050a5abf9311e03dbe1a28b

如想安装其他版本, 可从以下网址查找:

https://download.pytorch.org/whl/torch

5. git clone https://github.com/axolotl-ai-cloud/axolotl, cd到根目录, 运行

pip3 install --no-build-isolation axolotl[flash-attn,deepspeed]

paulwong 2025-01-12 16:37 发表评论

微调llama3大模型(2) - 使用ollama搭建chatbot

paulwong — Mon, 08 Jul 2024 11:48:00 GMT

上篇已经合并出了训练好的大模型，现在要搭建起一套CHATBOT，使得这套大模型能有一个WEBUI用起来。

1.设置环境变量，ollama的模型保存路径，/etc/profile

export OLLAMA_MODELS=/root/autodl-tmp/models/ollama

2.克隆ollama代码

curl -fsSL https://ollama.com/install.sh | sh

3.启动ollama

ollama serve

4.建立ollama镜像的配置文件，Modelfile

# set the base model
FROM /root/.ollama/llamafactory-export/saves/llama3-8b/lora/docker-commnad-nlp/export

# set custom parameter values
PARAMETER temperature 1
PARAMETER num_keep 24
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER stop <|reserved_special_token

# set the model template
TEMPLATE """
{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>
"""

# set the system message
SYSTEM You are llama3 from Meta, customized and hosted @ Paul Wong (http://paulwong88.tpddns.cn).

# set Chinese lora support
#ADAPTER /root/.ollama/models/lora/ggml-adapter-model.bin

建立镜像命令，create-ollama-image-docker-command-nlp.sh

BIN_PATH=$(cd `dirname $0`; pwd)
cd $BIN_PATH/
pwd
ollama create llama3-docker-commnad-nlp:paul -f Modelfile

5.运行大模型

llama3-docker-commnad-nlp:paul

paulwong 2024-07-08 19:48 发表评论

微调llama3大模型(1) - 使用Llama Factory微调llama3大模型

paulwong — Mon, 08 Jul 2024 10:44:00 GMT

对于象META的开源大模型，如llama3，由于都是用通用数据进行预训练，对想使用其模型的公司来说，可能会不适用，因为这大模型对公司的数据不熟悉，因此引入微调(Fine-Tunning)。

通过喂给大模型大量数据，1万条起步，使得大模型也能对公司的数据熟悉，进而用于各种对话场景。

1.克隆并安装LLAMA FACTORY库，install-llamafactory.sh

BIN_PATH=$(cd `dirname $0`; pwd)
cd $BIN_PATH/../
pwd
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics,bitsandbytes,modelscope]"

2.设置环境变量

export USE_MODELSCOPE_HUB=1 #使用modelscop模型库，非huggingface的
export CUDA_VISIBLE_DEVICES=0 ＃设置使用GPU
export HF_ENDPOINT=https://hf-mirror.com ＃设置huggingface的替代地址
export MODELSCOPE_CACHE=/root/autodl-tmp/models/modelscope ＃设置modelscope中的大模型保存路径
export LLAMAFACTORY_HOME=/root/autodl-tmp/LLaMA-Factory

3.准备数据

#在data/dataset_info.json中加入此数据

"docker_command_NL": {
"hf_hub_url": "MattCoddity/dockerNLcommands"
},

在data目录中加入训练数据，MattCoddity/dockerNLcommands.json

数据格式为：

[
  {
    "input": "Give me a list of containers that have the Ubuntu image as their ancestor.",
    "instruction": "translate this sentence in docker command",
    "output": "docker ps --filter 'ancestor=ubuntu'"
  },

]

4.训练大模型

训练的参数文件：llama3_lora_sft_docker_command.yaml

### model
#md model id
model_name_or_path: LLM-Research/Meta-Llama-3-8B-Instruct
#huggingface model id
#model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct

### method
stage: sft
do_train: true
finetuning_type: lora
lora_target: all

### dataset
dataset: docker_command_NL
template: llama3
cutoff_len: 1024
max_samples: 1000
overwrite_cache: true
preprocessing_num_workers: 16

### output
output_dir: /root/autodl-tmp/my-test/saves/llama3-8b/lora/sft/docker-commnad-nlp/sft
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true

### train
per_device_train_batch_size: 4
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000

### eval
val_size: 0.1
per_device_eval_batch_size: 1
eval_strategy: steps
eval_steps: 500

训练命令：lora-train-docker-command.sh

BIN_PATH=$(cd `dirname $0`; pwd)
cd $BIN_PATH/
pwd
cd $LLAMAFACTORY_HOME
pwd
llamafactory-cli train $BIN_PATH/conf/llama3_lora_sft_docker_command.yaml

执行此命令即可开始训练大模型。

5.合并大模型

合并用的参数文件，llama3_lora_export_docker_command.yaml

### model
#md model id
model_name_or_path: LLM-Research/Meta-Llama-3-8B-Instruct
#huggingface model id
#model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct

adapter_name_or_path: /root/autodl-tmp/my-test/saves/llama3-8b/lora/docker-commnad-nlp/sft
template: llama3
export_dir: /root/autodl-tmp/my-test/saves/llama3-8b/lora/docker-commnad-nlp/export
finetuning_type: lora
export_size: 2
export_device: gpu
export_legacy_format: False

合并命令，lora-export-docker-command.sh

BIN_PATH=$(cd `dirname $0`; pwd)
cd $BIN_PATH/
pwd
llamafactory-cli export conf/llama3_lora_export_docker_command.yaml

paulwong 2024-07-08 18:44 发表评论