RedMoon / 训练日志

· 智能计算系统

智能计算系统 Day2:从模型扩展到自动化系统设计

RedMoon · 2026-09-20 · 课堂阅读笔记

模型变大后,瓶颈在哪里

上节课讨论了模型的内存需求,本节进一步考察模型规模扩大后计算系统的变化。网络能表达怎样的函数、训练目标提供怎样的信号、设备能在多长时间内处理多少数据,这些因素需要放在一起看。课堂后半段又把问题延伸到芯片与工业软件设计。

比较新模型或新系统时,需要明确它降低了哪部分成本,以及结果是在什么运行条件下得到的。

算法、数据、算力怎样配合

要素 课堂主线 系统层面的追问
算法 反向传播、优化器、连接方式与训练目标 算子计算量、并行方式和数值稳定性是什么?
数据 自监督预训练,再针对场景适配 数据质量、分布、吞吐与任务评价怎样控制?
算力 CPU、GPU、TPU 与专用处理器 算力、容量、带宽、通信和功耗是否匹配?

预训练从大规模数据中学习可迁移表示,微调则针对特定任务调整模型。校园场景识别是一个直观例子:通用模型迁移到特定校园后,需要适应当地的场景分布,再用独立划分的数据评价效果。自监督学习的训练目标则从数据本身构造,例如预测序列中的下一个 token。

单个神经元做加权、聚合和非线性变换,网络通过连接结构组织这些运算。加深、加宽会改变容量,但语言能力还取决于表示、注意力、数据与目标。人工参数与生物突触不是同一种对象,全脑与皮层神经元数也不是同一口径,不能用数量相近推导智能相同。

从 CNN 到 Transformer:连接方式改变计算负载

CNN 利用局部连接和参数共享,逐层组合局部模式,感受野随结构加深而扩大。Transformer 则通过注意力建立序列元素之间的联系。文本、音频以及图像 patch 都可以形成序列,但其表示方式与任务目标不相同。

多头注意力让不同子空间分别建立关联,再合并结果。训练时可以并行计算多个位置;自回归生成新 token 时仍存在前后依赖,因此“Transformer 不需要顺序计算”不能不加场景限定。

架构 典型代表 常见任务与机制
Encoder-only BERT 类 建立输入表示,用于文本分类、序列标注等
Decoder-only GPT 类 在因果约束下预测下一个 token,逐步生成
Encoder-Decoder T5 等 编码输入,再根据输入表示生成翻译或摘要

BERT 主要处理语言表示;图像也可以切成 patch 并编码为序列,进入相应的视觉模型。输入都能写成序列,具体的表示和训练任务仍有区别。

上下文窗口不是永久记忆

部分模型支持百万量级 token 的窗口,不能称为所有模型的统一标准。窗口描述一次处理可容纳的上下文上限;能放入长文不等于每个位置的信息都能被同样有效地利用,也不等于模型在会话外永久记住它。

标准稠密注意力的成对交互带来随序列长度平方增长的工作量,实际内存取决于实现。KV cache 避免自回归解码反复计算历史键值,却随上下文和并发增加存储压力。更长窗口需要同时讨论算法、访存和延迟,而不是只报 token 数。

Scaling Law:有条件的经验规律

课堂讨论模型、数据、计算预算扩展与损失下降之间的幂律关系。一个便于理解的简化形式是:

\[L(C)\approx L_\infty+aC^{-\alpha},\qquad a>0,\ \alpha>0.\]

它表示在相应实验范围和配套设置下,增加计算预算 $C$ 后损失的可缩减部分按幂律变化。这里是幂律而非指数律;有非零下限时,取对数近似线性对应的是 $L-L_\infty$,不能机械地对所有量取对数。

这不是无限扩展一定有效的定理。数据质量、参数与数据比例、训练方式、评价分布都影响规律。训练损失下降也不自动等于每一种下游能力等幅提升。规模进一步增大后,供电、散热、网络、故障恢复与利用率会成为重要约束,这正是系统协同设计的意义。

MoE 与数值精度:减少什么,增加什么

MoE 的路由器为输入选择少数专家,再加权合并专家输出。总参数量与单个 token 激活的参数量因此不同,计算可以稀疏化,但没有被当前 token 选中的权重仍需在某处存储或加载。

所以“激活参数少”不等于“总显存一定同比降低”。多设备上的专家分布还可能增加通信,路由不均衡会形成热点。要同时考察总权重、活跃计算、负载均衡、专家并行与通信调度。

课堂讨论了 DeepSeek-V3、R1 及相关技术:MoE 处理稀疏专家计算;MLA 指多头潜在注意力;FP8 混合精度训练在部分计算中使用较低精度。这些技术分别作用于不同环节,分析效率时需要逐项看它们减少了什么开销。

低精度减少数据体积和带宽压力,也带来范围、舍入误差、异常值与硬件支持问题。训练中的混合精度和部署时的权重量化有关联,但不是同一个操作。比较方法时,应在相同任务质量要求下再比较速度和资源。

AI 自动化设计:生成之后,谁来验证

从专家系统、深度学习到参与设计流程的 Agent,候选生成之后都需要验证环节:把候选设计交给工具检查,再根据反馈修复,才能形成可用的设计流程。

芯片设计可从需求和规格出发,形成结构与逻辑实现,再进入验证、综合和物理实现。AI 可以生成候选设计、解释工具反馈、修复错误,也可能辅助编译器、操作系统和库的开发,但这些是有不同接口与验收标准的任务。

环节 主要回答的问题
仿真与测试 在给定输入和测试覆盖下,行为是否符合预期?
形式验证 在模型、规格和假设内,某项性质是否得到证明?
综合与时序分析 实现的逻辑、面积和时序约束是否满足要求?
物理设计与功耗评估 布局布线、工艺约束和功耗等是否可接受?

形式验证并不自动检查所有真实世界性质;验证规格写错也可能证明一个不符合需求的实现。模拟通过不等于覆盖所有情况,功能正确也不直接保证时序和功耗达标。

AI 设计芯片的案例中,自动完成的阶段、人工参与程度、验证覆盖、工艺和性能指标共同决定了结果的含义。生成一段设计代码的耗时,只占完整交付流程的一部分。

工业软件与程序验证

CAD 面向辅助设计,CAE 面向工程分析,EDA 面向电子设计自动化。它们的重要积累包括求解器、几何和材料模型、约束处理、工程数据与工作流程。学习型代理模型有机会加速部分计算,但是否替代某个环节,需要检验精度、泛化范围、守恒等约束及工程认证要求。

理解程序、数据和接口,是判断自动生成结果是否可信的基础。模型结构、低精度和长上下文对速度、内存的影响,也取决于具体负载。

复习要点

  1. 区分预训练、自监督任务与领域微调。
  2. 解释 CNN、注意力、三类 Transformer 架构的连接方式。
  3. 说明上下文容量与有效利用、永久记忆之间的区别。
  4. 用自己的话解释幂律公式的假设与边界。
  5. 列出 MoE 减少的计算和新增的存储、通信及调度问题。
  6. 为一个 AI 生成的硬件模块分别设计功能、规格、时序和功耗验收项。