RedMoon / 训练日志

大模型语言原理

6 篇

  1. Day 6

    大模型语言原理 Day6:检索增强生成与信息检索

    从检索与排序到上下文构造和实验切分,梳理 RAG 系统的关键环节及其边界。

  2. Day 5

    大模型语言原理 Day5:人类对齐、解码策略与推理部署

    从人类反馈与偏好优化,梳理对齐训练、概率解码和 KV Cache 等推理部署方法。

  3. Day 4

    大模型语言原理 Day4:指令微调与提示工程

    从指令微调、参数高效微调和上下文学习出发,结合抽象规则推理实验,整理提示词设计、输出解析与验证方法。

  4. Day 3

    大模型语言原理 Day3:从数据工程到 Transformer 训练系统

    从数据清洗、BPE 和 Transformer 结构出发,串起大模型训练稳定性、分布式并行与长上下文推理。

  5. Day 2

    大模型语言原理 Day2:规模规律、智能软件与多团队协作

    从固定训练预算下的模型与数据分配,到推理积压、团队接口和持续交付,理解模型目标怎样成为系统目标。

  6. Day 1

    大模型语言原理 Day1:从语言模型到智能软件系统

    从语言模型的概率分解、架构与规模演进,到数据工程、指令微调、工具调用和智能软件的工程边界。

返回课堂