RedMoon / 训练日志

· 大模型语言原理 / 指令微调 / 提示工程 / 上下文学习 / 抽象规则推理

大模型语言原理 Day4:指令微调与提示工程

大模型语言原理 Day4:指令微调与提示工程

RedMoon · 整理于 2026-10-30 · 课堂阅读笔记

一、这节课的主线

Day4 讨论的是“怎样让已经预训练好的大模型更好地完成任务”。课堂把路径分成两类:

  1. 指令微调:用任务说明、输入和目标输出组成训练样本,更新模型参数,使模型在一类任务上形成更稳定的行为。
  2. 提示工程:不更新模型参数,而是通过上下文、示例、任务分解、知识和输出协议,临时引导模型完成当前任务。

两条路径的共同目标是把模型原有的语言能力转化为可用的任务能力。区别在于,微调改变模型本身,提示工程改变一次调用时提供给模型的信息与约束。工程实践通常不是二选一:先用提示工程验证任务是否可行,再决定是否值得构造数据并进行微调。

本节还安排了一个抽象规则推理实验。它把提示工程拆成完整链路:从训练样例中归纳未知规则,生成测试预测,遵守 JSON 输出协议,再由程序解析并进行完全匹配评分。

二、指令微调:把“会续写”变成“会做事”

1. 指令微调与监督学习

指令微调(Instruction Tuning)把训练数据写成较明确的任务格式,例如:

部分 作用
指令 说明希望模型完成什么任务
输入 提供本次任务的具体材料
目标输出 给出符合要求的参考答案

模型在训练时根据指令和输入预测目标输出,因此它与监督学习非常接近。预训练阶段主要学习“下一个 Token 是什么”,指令微调则进一步学习“面对这种任务说明时,应该如何组织回答”。

指令微调的关键不只是增加数据量,而是让样本真正表达任务目标、输入边界和输出形式。如果目标输出本身不稳定,模型学到的就可能是表达噪声,而不是任务规则。

2. 数据构造的一条流水线

课堂材料给出了一种常见的数据构造思路:

  1. 从少量人工编写的高质量种子样例开始;
  2. 让更强的模型扩展任务描述或生成候选回答;
  3. 通过人工检查、规则过滤器或质量模型筛除不合格样本;
  4. 控制不同任务、不同表达方式和不同难度的比例;
  5. 用混合数据分阶段训练,并在独立验证集上检查能力变化。

这里最重要的约束是:不能把一个模型未经检查生成的大量数据直接拿去训练另一个模型。生成数据可能包含事实错误、格式错误、重复模式或不符合任务要求的推理。过滤和抽样检查不是附加步骤,而是训练数据工程的一部分。

3. 质量、多样性与数量的平衡

高质量小数据可能优于低质量大数据,但“小数据”不等于“随便挑几条”。数据集至少要同时考虑三件事:

  • 质量:输出是否正确,格式是否稳定,是否真正完成了任务;
  • 多样性:用户可能用不同措辞表达同一意图,样本需要覆盖合理的表达变化;
  • 分布:不同任务和不同难度的比例是否符合目标应用。

多样性也不能无限增加。若模型只服务于固定的软件接口,输入格式可以更稳定;若模型面向真实用户,任务描述和语言风格就需要更广泛。工程上应根据部署对象决定样本分布,而不是机械追求“越多样越好”。

训练集还要避免某一个任务数量过大而压过其他任务。常见做法包括调整采样权重、分阶段训练或混合通用数据。这样既提升特定任务能力,也尽量保留原有的通用语言能力。

4. 对话训练中的上下文问题

多轮对话训练通常把前面的对话历史作为输入,把最后一轮目标回答作为监督信号。这样做能让模型学习轮次、角色和上下文关系,但也带来一个直接后果:历史中的错误回答也会进入后续上下文。

因此,模型在对话中重复早先的错误,并不一定是“突然忘记了纠正内容”,也可能是它把自己之前生成的文本当成了当前上下文的一部分。对话数据清洗、角色标注和错误样本处理会直接影响这种行为。

5. 参数高效微调

完整微调需要为全部参数计算梯度、保存更新后的权重,并在部署时传输完整模型副本。参数高效微调(PEFT)的思路是冻结大部分基础模型,只训练一小部分新增或可学习参数。

课堂提到的代表性思路包括:

方法 直观做法 主要收益
Adapter 在原网络层之间插入小型可训练模块 基础模型参数保持不变,任务模块较小
Prefix / Prompt 类方法 学习一段可训练的前缀或提示向量 用少量向量改变各层的条件信息
LoRA 类方法 用低秩更新近似完整权重更新 训练和保存的参数量更小,便于多任务切换

这些方法的共同点是减少显存、反向传播、存储和传输成本。部署时可以保留一个基础模型,再按任务加载不同的轻量适配参数。它们并不保证在所有任务上都优于完整微调,具体效果仍取决于任务规模、数据质量、目标层和训练配置。

三、提示工程:不改参数也能改变行为

提示工程不是给模型一句“请认真回答”,而是设计一个可执行的任务接口。一个可用的提示通常要把目标、输入、步骤、约束和输出格式写清楚。

1. 上下文学习

上下文学习(In-Context Learning)是在一次调用中提供示例,让模型根据示例临时归纳任务规则。它不更新模型参数,示例只在当前上下文中起作用。

示例的价值不只是“告诉模型答案”,还在于展示:

  • 输入和输出的对应关系;
  • 任务中哪些字段重要;
  • 输出的顺序、类型和嵌套结构;
  • 边界情况如何处理。

示例越少越需要精心挑选。一个与目标任务不一致的示例,可能比没有示例更容易误导模型。

2. 任务分解与规划执行

复杂任务可以拆成若干子任务,例如:

  1. 识别输入结构;
  2. 从示例中提出候选规则;
  3. 用全部训练样例验证候选;
  4. 将规则应用到新输入;
  5. 检查最终格式。

也可以让模型先形成计划,再按计划执行。任务分解的作用是减少一次性处理复杂目标时的遗漏,但拆分本身也会引入额外上下文和错误传播,所以每个阶段都应有明确的输入输出。

3. 角色、风格与知识上下文

角色约束可以帮助模型明确回答口径,风格约束可以控制表达形式,知识检索可以把外部事实放进当前上下文。对于代码任务,仓库结构、接口定义、测试约束和错误日志通常比一句宽泛的“帮我修改代码”更有用。

这些信息必须服务于任务。无关背景越多,模型越容易把注意力分散到不重要的内容上。提示词的目标不是堆砌指令,而是把真正影响决策的信息放在模型可利用的位置。

4. 输出协议与验证

当模型输出需要被程序继续处理时,输出协议应当像 API 接口一样明确。至少要说明:

  • 允许的顶层结构;
  • 键名;
  • 元素数量;
  • 类型和嵌套层级;
  • 是否允许解释文字或 Markdown;
  • 失败时如何处理。

仅要求“返回 JSON”还不够。程序端仍需要解析、校验和记录原始输出。解析器应尽量保守:提取合法结果,但不擅自重算、不修改大小写、不把字符串转换成数字,也不替模型修正答案。

5. 思维链、验证和解码

对于需要多步推理的任务,可以要求模型先拆解规则或列出中间检查,再给出最终结果。课堂同时强调,解释更长不等于答案更正确,必须用训练样例或外部检查验证结论。

可用的增强手段包括:

  • 让模型逐条回验所有训练样例;
  • 让模型区分候选规则并淘汰冲突项;
  • 对多个候选结果做自一致性比较;
  • 在解码后加入格式校验或程序验证;
  • 在允许增加调用成本时,比较多次采样结果。

因此,提示工程的核心不是让模型“想得更多”,而是让模型的推理过程受到可检查的约束。实验中的 temperature=0.0 只能减少采样随机性,不能替代规则验证。

四、抽象规则推理实验

1. 任务目标

每道题给出至少三组 train input -> output 映射。模型需要从这些样例中归纳一个未知的确定性规则,再对两个只有 input 的测试样例给出预测。

例如,训练样例可能展示“列表循环右移”“去重后按规则排序”“矩阵转置”等关系。测试输入不提供标准答案,模型必须把从训练样例中得到的规则独立应用到新数据。

这类任务测试的不是固定答案记忆,而是以下能力的组合:

  1. 识别数据结构;
  2. 区分整体、行列、元素和字符等操作层级;
  3. 从多个样例中排除冲突规则;
  4. 保持数字、字符串、大小写和嵌套结构;
  5. 按协议输出可被程序解析的结果。

2. 固定评测协议

实验说明规定的关键参数如下:

项目 固定值
模型 ecnu-max
思考模式 disabled
temperature 0.0
max_tokens 2048
输出结构 {"outputs": [prediction_1, prediction_2]}
评分 每个测试样例完全匹配得 1 分

完全匹配不仅比较数值,还比较元素、顺序、大小写、数字或字符串类型以及嵌套层级。每道题有两个测试样例,最高得分为 2 分。教师最终测试包含 30 道基础题和 20 道困难题,共 100 个预测;测试集占总评的 60%,实验报告占 40%,提交文件会运行三次并取最高分。

3. 提交接口的边界

提交文件只保留 construct_prompt 和 parse_output 两个函数。实现中的边界有三条:

  1. construct_prompt 只把训练映射和测试输入发送给模型,移除测试样例中的标准答案,避免答案泄漏;
  2. 提示词要求模型核对全部训练样例,不能只根据一个例子猜测;
  3. parse_output 只负责从普通文本或 Markdown 代码块中提取合法 JSON 的 outputs,不重算或修改预测。

一个简化的数据流如下:

原始任务
  -> 删除 test.output
  -> 组织 train 映射与 test.input
  -> 模型归纳规则并输出 JSON
  -> 解析 outputs
  -> 与标准答案做完全匹配

4. 提示词设计要点

本次实现没有按 task_id 写死答案,而是把规则核对写进提示词:

  • 先提出能解释全部训练样例的候选规则;
  • 对每个候选规则逐条重算训练输出;
  • 区分有符号差、绝对差、累计值和逐元素运算;
  • 区分排序、分组、去重、位置重排和局部移动;
  • 对字符串检查长度、字典序、数字后缀和循环移动等可能性;
  • 对矩阵明确区分转置、行内翻转和行级变换;
  • 生成结果后再次检查类型、顺序、负号、大小写和嵌套层级;
  • 最终只输出一个包含两个预测的 JSON 对象。

这套设计把自然语言推理约束和程序接口约束放在同一个提示中,减少“规则猜对但格式错”或“格式合法但结构错”的情况。

五、本地验证结果

1. 公开验证集

最近一次完整运行覆盖 15 道任务、30 个预测,得分为 19/30。调用统计为:

  • Prompt tokens:10784
  • Completion tokens:1977
  • Total tokens:12761

逐题结果为:

任务 得分 任务 得分 任务 得分
V01 2/2 V06 2/2 V11 0/2
V02 2/2 V07 0/2 V12 2/2
V03 0/2 V08 2/2 V13 0/2
V04 1/2 V09 2/2 V14 0/2
V05 2/2 V10 2/2 V15 2/2

实验报告中还记录过同一接口的 25/30,说明即使 temperature=0.0,接口或模型服务仍可能存在运行波动。本文把 day4_validation_results.json 的最近一次完整记录作为当前结果,把 25/30 视为历史运行,不把任一结果写成未知正式测试集的保证。

从错误类型看,简单的逆序、循环移动、排序、计数和矩阵变换更容易稳定完成;涉及多步数值关系、分组顺序或复合变换的题目仍可能出现规则归纳错误。这说明提示词可以提高约束质量,但不能替代程序化的规则搜索和验证器。

2. 鲁棒性自测

另构造了 10 道不属于教师公开验证集的任务,共 20 个预测,得到 15/20。覆盖内容包括:

  • 列表重排和去重排序;
  • 负数分组;
  • 相邻绝对差与前缀和;
  • 字符串长度排序;
  • Token 的数字后缀解析;
  • 矩阵转置;
  • 交替行变换。

这组结果只能说明提示词对部分未见组合具有一定迁移性,不能替代教师未知测试集,也不能推出所有规则类型都可靠。

六、工程上的几个结论

1. 提示词工程本质上也是接口设计

提示词同时规定了任务语义和数据协议。任务描述不清,模型可能理解错规则;输出协议不清,程序可能无法继续处理;缺少验证,模型即使给出合法 JSON,也可能只是结构正确而内容错误。

2. 解析器应当保守

解析器的职责是把模型输出转换成程序可以判断的对象,而不是替模型“修答案”。如果解析器偷偷重算、改类型或纠正大小写,最终分数就无法说明模型本身是否完成任务。

3. 温度为零不等于完全确定

低温度主要降低采样随机性,服务端实现、上下文状态和模型本身仍可能造成不同运行结果。高风险任务需要多次运行、保存原始响应,并报告运行范围。

4. 什么时候应该微调

如果任务重复出现、输入输出格式稳定、能够构造足够可靠的数据,微调可以把提示中的规则固化到模型行为中。如果任务变化快、样本少、需要频繁更改规则,提示工程和检索增强通常更灵活。两者的选择应由任务频率、数据质量、延迟、成本和部署维护方式共同决定。

七、复习问题

  1. 指令微调为什么接近监督学习? 因为训练样本明确给出了任务说明、输入和目标输出,模型通过预测目标输出更新参数。

  2. 为什么高质量小数据可能优于低质量大数据? 模型学习的是数据分布。低质量重复数据会放大错误模式,而少量准确、多样且覆盖目标任务的数据更直接地提供有效监督。

  3. 参数高效微调节省了什么? 主要节省反向传播计算、显存、适配权重存储和多任务部署时的传输成本;它不是让训练完全没有成本。

  4. 为什么提示词要要求核对全部训练样例? 只看一个样例可能得到许多表面上合理的规则,只有逐条重算并排除冲突,才能提高规则归纳的可信度。

  5. 为什么 JSON 格式正确仍可能得零分? 评分是完全匹配,元素顺序、大小写、数字类型、字符串类型或嵌套层级任一处不同都会判错。

  6. 为什么 temperature=0.0 仍需要验证? 温度只控制采样随机性,不能保证模型已经正确理解未知规则,也不能替代格式校验和多次运行比较。

参考材料

  • Day4.md:理论课课堂摘要;
  • 大模型微调与提示工程实验指导.txt:理论课转写;
  • 实验二_提示词工程实践说明.pdf:实践课正式要求;
  • 实验报告.md 与本地实验报告:实验设计和运行记录;
  • val.json、day4_validation_results.json、day4_robustness_results.json:验证数据与结果;
  • 提交脚本中的两函数实现:提示构造与输出解析。