理论介绍Prompt-Tuning是一种参数高效微调方法，核心思想可以类比：技术人员不去修改知识渊博的教科书（预训练好的大模型），而是在书的开头（输入层）添加几张非常智能的、可学习的便利贴(软提示/虚拟token(Soft Prompt) 或者叫虚拟提示词-Virtual Tokens)，便利贴上的内容不是固定的文字，而是模型可以自己学习调整的参数(向量)。 训练时，冻结原始模型的绝大部分参数，只训练新添加的便利贴参数，让模型看到特定的便利贴时，就按照我们期望的方式去执行任务。 核心原理图示PLM(预训练模型)不变，W(模型权重)不变，X(模型输入)改变。设计任务关联提示模板，并微调提示嵌入，以引导预训练模型适应特定任务。仅需微调少量提示(Prompt Embeddings)，而非整个模型参数。 相比传统微调的优势：- · 存储小：每个新任务只需要保存那些小小的便利贴参数，而不是整个模型。
- · 效果好：在很多任务上，Prompt-Tuning 的效果可以媲美完全微调。
- · 原模型不受影响：基础模型保持不变，可以方便地为不同任务加载不同的便利贴。
通过代码解读原理代码将展示Prompt-Tuning的完整实现过程，并解释其工作原理。(运行环境需pip加装PEFT包，本代码采用的PEFT版本为0.14.0)。 Prompt-Tuning方法主要体现在第四步和第八步，需重点阅读，其余代码与往期基本一致。 第一步: 导入相关包import torch
from datasets import Dataset
from transformers import AutoTokenizer, AutoModelForCausalLM, DataCollatorForSeq2Seq, TrainingArguments, Trainer
from peft import PromptTuningConfig, get_peft_model, TaskType, PromptTuningInit, PeftModel
第二步: 加载数据集# 包含 'instruction' (指令), 'input' (可选的额外输入), 'output' (期望的回答)
ds = Dataset.load_from_disk('../data/alpaca_data_zh/')
第三步: 数据集预处理将每个样本处理成包含 input_ids, attention_mask, 和 labels 的字典。 tokenizer = AutoTokenizer.from_pretrained('D:\\git\\model-download\\bloom-389m-zh')
defprocess_func(example):
MAX_LENGTH = 256
# 构建输入文本：将指令和输入(可选)组合到一起，并添加明确的 'Human:' 和 'Assistant:' 标识符。'\n\nAssistant: ' 是提示模型开始生成回答的关键分隔符。
prompt = '\n'.join(['Human: ' + example['instruction'], example['input']]).strip() + '\n\nAssistant: '
# 对输入+提示进行分词，这里暂时不添加特殊token (<s>, </s>)，后面要拼接
instruction_tokenized = tokenizer(prompt, add_special_tokens=False)
# 对期望的输出（回答）进行分词，在回答的末尾加上 `tokenizer.eos_token` (end-of-sentence)。告诉模型生成到这里就可以结束。
response_tokenized = tokenizer(example['output'] + tokenizer.eos_token, add_special_tokens=False)
# 将输入提示和回答的 token IDs 拼接起来，形成完整的输入序列 input_ids
input_ids = instruction_tokenized['input_ids'] + response_tokenized['input_ids']
# attention_mask 用于告诉模型哪些 token 是真实的、需要关注的，哪些是填充的（padding）。
attention_mask = instruction_tokenized['attention_mask'] + response_tokenized['attention_mask']
# 创建标签 (labels)：这是模型需要学习预测的目标，因为只希望模型学习预测 'Assistant:' 后面的回答部分，所以将输入提示部分的标签设置为 -100，损失函数自动忽略标签为 -100 的 token，不计算它们的损失。
labels = [-100] * len(instruction_tokenized['input_ids']) + response_tokenized['input_ids']
# 截断
iflen(input_ids) > MAX_LENGTH:
input_ids = input_ids[:MAX_LENGTH]
attention_mask = attention_mask[:MAX_LENGTH]
labels = labels[:MAX_LENGTH]
# 返回处理好的数据
return {
'input_ids': input_ids,
'attention_mask': attention_mask,
'labels': labels
}
# .map() 方法将处理函数应用到整个数据集的所有样本上。
tokenized_ds = ds.map(process_func, remove_columns=ds.column_names) # `remove_columns` 会移除原始的列，只保留 process_func 返回的新列。
print('\n检查第2条数据处理结果:')
print('输入序列 (input_ids解码):', tokenizer.decode(tokenized_ds[1]['input_ids']))
target_labels = list(filter(lambda x: x != -100, tokenized_ds[1]['labels'])) # 过滤掉 -100，看看模型真正需要预测的标签是什么
print('标签序列 (labels解码，过滤-100后):', tokenizer.decode(target_labels))
第四步: 创建模型与 PEFT 配置这一步是Prompt-Tuning 的核心步骤，需要嵌入一段文本来初始化'虚拟提示词'，将文本分词后，对应的词向量（embedding）作为虚拟提示词的初始值。 最后的num_virtual_tokens是指虚拟提示词嵌入向量的数量，也是唯一需要训练的参数。 model = AutoModelForCausalLM.from_pretrained('D:\\git\\model-download\\bloom-389m-zh')
# 配置 Prompt Tuning
config = PromptTuningConfig(
task_type=TaskType.CAUSAL_LM, # 因果语言模型
prompt_tuning_init=PromptTuningInit.TEXT, # PromptTuningInit.TEXT 表示用一段文本的嵌入来初始化'虚拟提示词'，比随机初始化效果好。
prompt_tuning_init_text='下面是一段人与机器人的对话。', # 对文本分词，对应的词向量（embedding）作为虚拟提示词的初始值。
num_virtual_tokens=len(tokenizer('下面是一段人与机器人的对话。')['input_ids']), # 虚拟提示词的数量，等于初始化文本分词后的长度，这 `num_virtual_tokens` 个虚拟提示词的嵌入向量，就是唯一需要训练的参数！
tokenizer_name_or_path='D:\\git\\model-download\\bloom-389m-zh'
)
# 通过`get_peft_model`函数将 Prompt Tuning 配置应用到基础模型上，函数会在模型内部添加可学习的 Prompt Encoder，并自动冻结基础模型的其他所有参数。
model = get_peft_model(model, config)
# 查看模型结构的变化，会多出一个 prompt_encoder 部分
print('PEFT 模型结构:', model)
# 检查可训练参数：打印并对比可训练参数的数量和总参数数量。
model.print_trainable_parameters() # 'trainable parameters' 远小于 'all parameters'。
第五步: 配置训练参数args = TrainingArguments(
output_dir='./chatbot_prompt_tuning_explained_zh',
per_device_train_batch_size=1,
gradient_accumulation_steps=8, # 梯度累积：相当于有效批次大小为 1 * 8 = 8，对于显存有限的情况有用
logging_steps=10, # 每训练 10 步，打印一次日志信息（如loss）
num_train_epochs=1, # 训练轮数
save_steps=100, # 每训练 100 步，保存一次模型检查点（checkpoint）
# learning_rate=1e-3, # Prompt Tuning 通常可以使用比完全微调稍大的学习率
# gradient_checkpointing=True, # 可以节省显存，稍慢一点，如果显存不足可以开启
)
第六步: 创建训练器trainer = Trainer(
model=model,
args=args,
tokenizer=tokenizer,
train_dataset=tokenized_ds,
data_collator=DataCollatorForSeq2Seq(tokenizer=tokenizer, padding=True),# 数据整理器：负责将数据集中的样本组成一个批次(batch)，并进行必要的填充(padding)
)
第七步: 模型训练 trainer.train() # 仅优化虚拟token的参数，基础模型的权重冻结。
第八步: 模型推理与效果展示Prompt-Tuning推理：- 1. 推理时，训练好的虚拟token会自动添加到输入序列前；
- 2. 虚拟token相当于给模型一个
隐式提示，引导其生成特定风格或内容的回答； - 3. 用户无需看到这些虚拟token，它们只在模型内部起作用。
标准流程：- 3. 使用
PeftModel.from_pretrained将两者结合起来。
# 1. 加载基础模型
base_model = AutoModelForCausalLM.from_pretrained('D:\\git\\model-download\\bloom-389m-zh')
# 2. 指定 PEFT 适配器权重所在的目录
peft_model_path = './chatbot_prompt_tuning_explained_zh/checkpoint-3357/'
# 3. 加载 PEFT 适配器并将其应用到基础模型上
peft_model = PeftModel.from_pretrained(model=base_model, model_id=peft_model_path)
if torch.cuda.is_available():
peft_model = peft_model.cuda()
print('模型已移动到 GPU。')
else:
print('未检测到 CUDA，将在 CPU 上运行推理。')
# 准备输入文本
instruction = '考试有哪些技巧？'
input_text = ''
prompt = f'Human: {instruction}\n{input_text}'.strip() + '\n\nAssistant: '
print(f'\n用于推理的输入 Prompt:\n{prompt}')
# 将输入文本分词，转换为tensors，然后移动到模型所在的设备 (CPU 或 GPU)
ipt = tokenizer(prompt, return_tensors='pt').to(peft_model.device)
# 使用 `.generate()` 方法生成回答，PEFT 模型会自动处理软提示的注入
print('正在生成回答...')
response_ids = peft_model.generate(**ipt, max_length=128, do_sample=True, top_k=50, top_p=0.95, temperature=0.7)
# 将生成的 token IDs 解码回文本
full_response = tokenizer.decode(response_ids[0], skip_special_tokens=True) # `skip_special_tokens=True` 会移除像 <|endoftext|> 这样的特殊标记
# 关注 'Assistant: ' 后面的内容
assistant_response = full_response.split('Assistant: ')[-1]
print(f'\n模型生成的回复:\n{assistant_response}')
|
