· 大模型语言原理 / 语言模型 / Transformer / 上下文学习 / 智能软件工程
大模型语言原理 Day1:从语言模型到智能软件系统
RedMoon · 整理于 2026-10-01 · 课堂阅读笔记
一、课程定位与学习主线
本课程名称为“大模型与智能软件系统”,共 3 学分、48 课时。课程不设置固定教材,主要依据新近发表的论文和研究报告展开,参考来源包括软件工程、系统和人工智能领域的重要会议与期刊。课程考核由两部分组成:实验表现(包含实验报告和出勤)占 30%,期末闭卷考试占 70%;实验报告逾期提交,当次成绩扣除 20%,未提交则该项成绩为 0。课程目标可以归纳为三层:理解大语言模型和智能软件系统的基本概念、发展趋势与挑战;掌握大模型原理、部署方法及智能软件工程的关键技术;通过实验获得大模型基础技术的使用经验,形成智能软件开发能力。
这节课先解释了“语言模型是什么”,再解释大模型为什么从统计模型发展到预训练模型和通用模型,最后把模型放回软件系统中考察。核心线索是:模型通过概率分布学习语言规律,通过规模、数据和训练方法获得更强的迁移能力,再通过指令、反馈、工具和软件工程约束转化为可用系统。
二、语言模型:为字符串建立概率分布
语言模型把文本看成 Token 序列,为不同序列分配概率。这个概率反映模型从训练数据中学到的语言分布,并不直接等于一句话“语法正确”或“事实正确”的概率。Token 不一定等于完整单词,实际分词器可能按词、子词、字符或字节相关片段切分。设序列为 $x_{1:T}=(x_1,x_2,\ldots,x_T)$,联合概率可以按链式法则分解为:
\[P(x_{1:T})=\prod_{t=1}^{T}P(x_t\mid x_{<t}).\]其中 $x_{<t}$ 表示当前位置之前的 Token。自回归语言模型在每一步根据已有上下文预测下一个 Token 的条件概率,选出一个 Token 后接回上下文,再继续生成。这一乘积分解来自概率链式法则,不需要假设各个 Token 相互独立。
例如,把一句话简化成“今天/天气/很好”三个 Token,假设模型给出的条件概率依次为 $0.1$、$0.4$、$0.5$,这三个 Token 组成的序列概率就是 $0.1\times0.4\times0.5=0.02$。这里的数值是说明公式的示例;完整句子还可以把结束符纳入序列。
生成时可以在每一步选概率最高的 Token,也可以按概率采样。逐步贪心选择并不保证得到联合概率最高的完整序列。温度、Top-k 和 Top-p 等解码设置会改变选取方式;它们是理解课堂“按概率续写”的补充概念。
课堂用输入法联想说明统计语言模型的价值:当用户输入“华东师范”时,系统可以根据历史共现频率提高“大学”等后续词的概率。统计方法运行快、部署成本低,但它依赖有限的局部统计,难以表达长距离语义关系和复杂任务结构。神经语言模型把 Token 映射到向量空间,用可训练参数学习更丰富的语义关系;词向量的思想使相近含义的词在表示空间中更接近,也使分类、聚类和文档理解等任务获得统一的表示基础。
三、从 Encoder-Decoder 到 Decoder-only
早期神经序列模型常采用 Encoder-Decoder 结构。编码器把输入序列压缩为可计算的表示,解码器再根据该表示生成目标序列。机器翻译是典型任务:不同语言是同一语义的不同表达,编码器负责把源语言映射到中间表示,解码器负责把中间表示还原成目标语言。这样可以把许多任务放进统一的序列到序列框架中。
Transformer 进一步用注意力机制替代循环结构,使序列中的位置可以直接建立依赖关系,并且训练阶段能够并行处理整段序列。注意力的基本形式是:
\[\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^{\mathsf T}}{\sqrt{d_k}}\right)V.\]上式是补充理解所用的标准注意力公式:$Q$ 是查询,$K$ 是用于匹配的键,$V$ 是被聚合的值,$d_k$ 是键向量维数。注意力权重由内容匹配决定,不能简单理解为“离得越远,影响必然越小”。
Decoder 的自注意力需要使用因果掩码,保证输入位置 $t$ 只能访问当前位置及其左侧内容,用于预测 $x_{t+1}$,不能偷看未来 Token。GPT 类模型采用 Decoder-only 架构,把不同任务统一转写成“给定文本,继续生成文本”的形式。它的工程优势在于训练目标和使用方式统一:预训练学习下一个 Token,推理通过上下文和指令完成翻译、问答、摘要、代码生成等任务。
| 架构 | 上下文处理方式 | 典型用途与例子 |
|---|---|---|
| Encoder-only | 通常同时利用输入的左右上下文,形成表示 | BERT 类模型;文本分类、序列标注、检索表示 |
| Decoder-only | 对生成序列施加因果约束,逐步续写 | GPT 类模型;开放式生成、对话、代码生成 |
| Encoder-Decoder | 编码器读取输入,解码器结合编码结果生成输出 | 原始 Transformer、T5 类模型;翻译、摘要等文本到文本任务 |
课堂用多语言翻译说明共享表示的动机:若 $n$ 种语言的每个有向语言对分别训练模型,需要 $n(n-1)$ 个模型;若能共享兼容的中间表示,为每种语言设置一套编码器和解码器,组件数量可按 $2n$ 增长。以 20 种语言为例,分别是 380 个语言对模型和 40 个组件。这是解释复用价值的理想化设计,组件能互相组合还依赖共同训练和表示对齐。
课堂介绍中把 Decoder-only 的主流化归因于实践效果和统一接口。更准确地说,架构选择还与预训练数据、注意力设计、规模、训练目标、推理效率和应用需求共同相关;“只要有 Decoder 就足够”是课堂用于说明行业趋势的概括,不能理解为所有任务都不需要 Encoder 或 Encoder-Decoder。
四、语言模型的三次演进
1. 统计语言模型
统计语言模型根据词或 Token 的共现频率估计条件概率,典型应用是输入法预测和简单的文本补全。它的优势是快速、轻量,局限是上下文窗口有限,表示能力和迁移能力较弱。
2. 神经语言模型与预训练
神经网络通过向量表示、非线性变换和上下文建模提升语言理解能力。预训练模型先在大规模通用文本上学习语言规律,再针对具体任务进行微调。预训练成本高,但一次训练可以为多个下游任务提供共享基础,从而减少每个任务都从头训练的成本。
3. 大模型与上下文学习
模型可以在不更新参数的情况下,根据提示中的说明或示例适应任务,这种使用方式称为上下文学习(in-context learning,ICL)。GPT-3 的工作展示了 zero-shot、one-shot 和 few-shot 使用方式:任务说明与少量示例都通过文本输入提供,模型在推理过程中根据上下文生成答案,不需要为每个任务重新进行梯度更新。它对不同任务的效果不同,也不能据此断言相似任务从未出现在预训练数据中。
例如,提示中给出“好吃 → 正面”“太难吃 → 负面”,再要求判断“味道不错”,模型就可以参照示例输出类别。变化发生在本次输入上下文中;把这组样本用于微调,则会通过梯度更新改变模型参数。
规模扩大带来的性能变化可以用经验缩放定律描述。已有研究发现,语言模型损失与参数量、数据量和训练计算量之间在较宽范围内呈现近似幂律关系。课堂把它概括为“模型越大、数据越多,能力越强”,复习时要补上两个条件:规模需要和数据、计算预算共同匹配;某一项成为瓶颈后,继续增加其他投入可能收益递减,数据不足而模型容量过大还会增加过拟合风险。Chinchilla 的结果进一步说明,在固定计算预算下,模型大小和训练 Token 数需要共同设计,盲目扩大参数量并不能保证得到最优模型。
课堂还介绍了“涌现能力”:某些能力在小规模模型上表现不明显,规模扩大后在特定评测中变得突出。这里要区分平滑下降的语言建模损失与具体任务的评分;任务、提示和评分方式都会影响观察到的变化,不能把某个参数阈值当作通用智能出现的统一界线。课堂后半段也把这类现象的解释及评估方式作为开放问题。
五、数据、训练与模型能力
1. 数据怎样进入模型
大模型训练通常分为预训练、指令微调和人类反馈对齐几个阶段。
预训练使用大量未标注文本,通过自动构造“上下文—下一个 Token”的预测任务学习语言规律,属于自监督学习。数据工程决定了训练语料的有效信息密度,常见步骤包括多来源采集、质量过滤、重复数据删除、隐私脱敏、敏感内容处理、Token 化与数据配比。数据来源会影响模型的表达方式、知识覆盖和行为倾向,因此数据质量、来源结构和配比都是模型能力的一部分。
| 环节 | 课堂讨论的问题 | 整理后的技术要点 |
|---|---|---|
| 多来源采集 | 只收集一种群体的意见,会遗漏其他视角 | 关注数据来源、适用场景和样本覆盖 |
| 质量过滤 | 网页标签、乱码、低信息量片段混入正文 | 按任务定义质量规则;短文本不一定都无价值 |
| 去重 | 不同网站相互转载,同一样本重复出现 | 可在句子、文档、数据集层面查重,避免重复改变训练分布 |
| 隐私处理 | 原始网页可能含姓名、联系方式和地址 | 根据数据性质识别、删除或替换个人信息 |
| Token 化 | 模型需要数值输入 | 分词得到 Token,再映射为词表 ID;ID 经嵌入层变成向量 |
| 数据配比 | 代码、网页、科学材料和对话占比不同 | 根据目标能力设置配比,并通过验证集评估 |
词表编号本身没有语义上的大小关系,编号相邻不代表含义相近。Tokenizer 与模型需要匹配;罕见词也可以拆成多个片段表示,不能把“词表中没有完整单词”理解为必须删除该词。
课堂用书籍、网络评论和代码说明数据质量与风格的差异。实际评价还应看正确性、覆盖度、任务相关性与来源条件,不能只按载体判断好坏。对生成数据,同样需要筛选、验证和多样性控制;未经校验地反复使用模型自己的输出,可能放大已有错误。
作为训练目标的补充,把一个长度为 $T$ 的序列用于自回归训练,可最小化平均负对数似然:
\[\mathcal L(\theta)=-\frac{1}{T}\sum_{t=1}^{T}\log P_\theta(x_t\mid x_{<t}).\]训练时目标 Token 来自原始文本,模型调整参数 $\theta$,提高这些目标在相应上下文中的概率。这里优化的是语言预测目标,应用中的事实准确性、指令遵从和权限控制还需要各自的训练或系统机制。
2. 微调与对齐解决什么问题
指令微调使用带有任务说明、输入和目标输出的样本,使模型学会按照指令完成任务。微调之前必须明确下游任务的输入、输出、评价标准和终止条件,再根据可获得的标注数据选择训练方案。小模型和本地部署更强调成本、速度和领域定制,大模型服务更强调通用能力、并发能力和产品竞争力;模型大小应服从任务、数据、硬件和延迟要求。
人类反馈对齐进一步把“什么回答更符合用户意图”纳入训练目标。InstructGPT 的经典流程包括:先用人工示范进行监督微调(SFT),再收集多个模型回答的人工排序训练奖励模型(RM),最后用强化学习优化模型策略。对齐改善了指令遵从、帮助性和部分安全指标,但人类偏好数据的覆盖范围、标注者差异和评价标准都会影响结果。课堂将对外服务需要满足的要求概括为 3H:有帮助(helpful)、诚实(honest)、无害(harmless)。
SFT 学习示范答案,奖励模型学习对回答的相对偏好,经典 RLHF 再依据奖励信号调整生成策略。监督式指令微调是 SFT 的一种应用;并非每一种后训练方案都必须包含这三个阶段。课堂提到的 LoRA 则属于参数高效微调方法,主要改变需要训练的参数量,不保证少量数据在任何任务上都足够。
课堂举“模型总是顺着用户说”的例子说明偏好目标可能偏离事实判断。复习时应区分讨好倾向、训练数据覆盖不足和统计意义上的过拟合:它们可以相互关联,但不是同一个概念。
3. 为什么分布式训练仍然困难
课堂把训练困难分成计算与通信、数据读取、过程管理三个层面。
计算与通信。 一张卡放不下模型或训练速度不足时,需要多卡协作。数据并行让各设备处理不同数据并同步梯度,模型并行把模型计算分布到多个设备。设备之间的数据传输、同步等待和负载不均衡都会消耗时间,因此增加 GPU 数量不一定得到同比例加速。
数据读取与随机化。 大规模语料往往存放在磁盘或分布式存储中。训练需要混合数据、打乱顺序并持续供给设备,而随机读取可能降低缓存和顺序读取的收益。数据分片、缓冲、预取和批次组织,是把“数据已经收集好”变成“GPU 能持续训练”的工程环节。
过程管理。 大模型训练周期长,若在后期才发现数据或实现错误,重跑成本很高。课堂将它与传统软件可逐模块验证的开发方式作比较。对应的工程做法是先跑小规模验证,记录配置和数据版本,保存检查点,持续监控损失、验证指标与资源状态,把问题尽量提前暴露。
缩放定律在这里服务于预算决策:给定可用硬件、时间和训练数据,估计怎样分配模型规模与训练量。它是特定实验条件下拟合出的经验关系,不能不经验证就套到不同架构或多模态任务上。课堂还提到联邦学习,其重点是分散数据条件下的协作训练,应与数据中心内的常规多卡训练区分。
六、从模型能力到可用系统
1. 提示、指令遵从与任务分解
提示工程把任务目的、输入材料、输出格式、限制条件和示例放入上下文。课堂以代码生成为例:需要说明函数接收什么、应当返回什么、允许使用哪些库,以及时间或空间方面的要求。明确这些信息,模型才能围绕具体需求生成答案。
指令遵从体现为模型能按照要求调整行为,例如改变摘要长度、遵守代码接口或输出指定字段。精确字数和严格格式可以再由程序检查;一条自然语言指令本身不保证每次都满足约束。
任务分解把一个复杂目标拆成多个较小步骤,使每一步都有更清晰的输入、输出和检查点。课堂还介绍了思维链(Chain of Thought,CoT),即在得出答案前展开中间推理步骤。显式展开可以增加中间计算和核验的机会;效果仍需看任务结果,不能把较长的解释自动当作正确答案。多模型协作也需要提供独立材料、规则或测试,简单让同类模型评价彼此,未必能发现共同错误。
2. 检索与工具怎样扩展能力
纯语言模型的基本接口是文本输入和文本输出。工具调用把模型的语言决策连接到计算器、搜索引擎、数据库、代码执行器或手机 API,使模型可以获得实时信息、执行精确计算、读写受控数据并完成外部动作。工具调用的关键不只是“让模型会调用”,还包括参数校验、权限控制、超时、重试、审计和结果回传。
模型接入企业数据时,权限必须绑定用户身份、部门和具体资源。不同用户看到的知识范围可以不同,同一个基础模型也应通过检索层、工具层和访问控制层获得不同的可见数据。把所有内部数据无差别暴露给模型会扩大信息泄露范围;工程系统需要在数据检索和工具执行前后都进行授权与校验。
课堂还讨论了检索与生成的相互配合。模型可以辅助改写查询、理解用户意图和整理搜索结果;反过来,检索系统可以从大量资料中选出相关片段,交给模型作为回答依据。这就是检索增强生成(RAG)的基本思路。资料进入本次上下文,通常不会因此更新模型权重;回答是否可靠取决于检索是否命中、来源是否可信,以及生成内容是否忠于材料。
工具调用则把语言输出连接到真正的执行动作。以设置闹钟为例,完整过程包括解析时间、调用设备 API、读取执行结果,再向用户反馈;生成“已经设置好了”这句话本身并不代表闹钟已创建。
多模态把输入输出扩展到图像、语音等类型。课堂还把 AI for Science 作为应用方向:模型可以辅助分析实验结果、提出实验方案,并通过专门的平台连接仪器或自动化设备。不同模态、科学任务和外部执行器需要相应的数据、模型与验证,不能直接由文本生成能力推断全部能力。
3. 软件系统需要哪些组成
智能软件由三部分组成:AI 模块负责识别、预测或决策;支撑层负责数据库、服务、监控、日志、队列和运行环境;应用层负责用户界面、账号、计费、工作流和结果呈现。以音频识别软件为例,语音模型只能完成音频到文本的推理,完整产品还需要文件上传、任务状态、分段播放、结果编辑、错误恢复、权限管理和数据存储。
课堂的语音转写案例还强调了结果纠错的交互设计:长录音需要进度拖动和文本片段定位;用户看到疑似错误时,应能快速回听相关片段并修改文字。若产品还承担模型训练,就会增加训练数据管理、标注工具、训练流水线和模型质量监控。
4. 运行成功与语义正确是两件事
一次调用可能没有超时、没有抛异常,返回的文本格式也完全合法,但内容仍然错误。普通软件同样可能存在逻辑错误,而模型增加了依赖数据分布的语义不确定性。因此智能软件需要把模型当作带不确定性的组件,设计结果验证、拒答策略、人工复核、回滚和监控;若采用置信度阈值,还要验证分数是否经过校准,不能直接相信模型自报的“很有把握”。
数据科学家关注模型质量,软件工程师关注接口、稳定性和故障处理;双方需要在开发早期约定输入输出格式、错误语义、评价指标和责任边界。课堂用同一张水瓶图片说明任务定义的作用:物品识别可能要输出“水瓶”,垃圾分类关心“塑料”,配色工具关心“颜色”。三种回答可能各有依据,只有明确产品用途,才能判断哪一种满足需求。
七、使用大模型时的安全边界
课堂列出的风险主要包括偏见、隐私泄露、幻觉、虚假引用和不当工具调用。数据清洗可以减少模型接触个人信息的机会,输出侧仍需要进行敏感信息过滤和事实核验。模型可能生成形式上像真的链接或引用,引用必须打开核对来源,不能仅凭格式判断其真实存在。
对外系统还要考虑提示注入:网页、文档或用户输入可能包含伪装成系统指令的内容,诱导模型执行未授权操作。工具调用必须采用最小权限,明确哪些内容可以作为数据,哪些内容才是经过授权的操作指令。涉及儿童、心理脆弱用户、医疗、金融或高风险决策时,产品的保护规则、人工介入和责任承担要求更高。
八、复习要点
- 语言模型为什么可以写成条件概率的乘积?Token 与单词有什么区别?
- Encoder-Decoder、Encoder-only 和 Decoder-only 分别适合怎样的输入输出关系?为什么 Decoder-only 可以统一许多文本任务?
- 预训练、自监督学习、指令微调、SFT、奖励模型和 RLHF 之间是什么关系?
- 为什么模型规模、数据规模和计算预算需要一起设计?Chinchilla 对“只堆参数”的提醒是什么?
- 上下文学习、任务分解和工具调用分别改变了模型的哪一层能力?
- 一个音频识别模型要成为可用的软件产品,还需要哪些支撑层和应用层组件?
- 如何从数据、权限、输出校验和人工介入四个方面降低智能软件的风险?
九、复习题参考答案
- 联合概率可按概率链式法则分解;条件中保留前文,所以并未假设 Token 独立。Token 是分词器定义的单位,可能是完整词,也可能是词的一部分或字节相关片段。
- Encoder-only 通常重在输入表示;Decoder-only 重在因果生成;Encoder-Decoder 显式分开输入编码和输出生成。把任务说明、资料和目标输出都组织成序列后,许多任务可以共享生成接口。
- 自回归预训练从文本本身构造监督目标。指令 SFT 用示范答案更新模型,奖励模型学习偏好,经典 RLHF 利用奖励优化生成策略;ICL 则只改变上下文,不更新参数。
- 数据不足、计算预算不足或训练量分配不合适,都可能让更大的模型不能发挥潜力。Chinchilla 在所研究的固定计算预算条件下,强调参数量与训练 Token 数共同扩展。
- ICL 改变本次任务的上下文条件;任务分解改变求解的步骤组织;工具调用连接检索、计算和外部动作。三者可以组合使用。
- 还需要上传和存储、任务队列与状态、播放定位、文字编辑、账号权限、监控和错误恢复;纳入训练时还需要标注与训练流程。
- 数据侧过滤与脱敏;访问侧校验身份和资源权限;输出侧检查格式、证据和动作结果;重要或无法可靠判断的环节由人工复核。
十、课程安排与参考资料
课件还规定,缺课达到三分之一不得参加课程考试,课程成绩记零分。课堂预告下一次课需带电脑,进行实验环境熟悉与基础 API 调用,实验报告通过学习通提交;具体调课和教室安排以课程系统与课程群通知为准。
课件列出的阅读材料为《大模型基础》和 A Survey of Large Language Models(arXiv:2303.18223);检索渠道包括 Google Scholar、IEEE Xplore 和 ACM Digital Library。软件工程、系统、人工智能三类论文分别帮助理解产品开发、运行基础设施和模型方法。
以下论文用于补充核对本文中的架构、上下文学习、缩放关系和对齐概念:
- Vaswani et al., Attention Is All You Need, 2017:Transformer、缩放点积注意力与因果掩码。
- Brown et al., Language Models are Few-Shot Learners, 2020:GPT-3 与上下文学习。
- Kaplan et al., Scaling Laws for Neural Language Models, 2020:语言模型的经验缩放关系。
- Hoffmann et al., Training Compute-Optimal Large Language Models, 2022:Chinchilla 计算最优训练。
- Ouyang et al., Training language models to follow instructions with human feedback, 2022:InstructGPT 与 RLHF。