· 智能计算系统
智能计算系统 Day1:大模型背后的计算、存储与通信
RedMoon · 2026-09-16 · 课堂阅读笔记
模型为什么需要一套系统
模型能力由算法定义,但能不能训练、能不能部署、用户等多久,取决于计算系统。一次矩阵乘法既要执行运算,也要把参数与输入送到计算单元,再把结果存下来。多设备运行时,还需要交换数据。
因此,不能只问芯片峰值算力。计算、存储和通信中最紧的约束,可能决定整次任务的速度。模型训练、离线批量推理、单用户实时生成,是三种不同负载,不能用同一个“跑不跑得动”概括。
从应用追到芯片
| 层次 | 典型职责 | 系统约束 |
|---|---|---|
| 应用层 | 对话、识别、机器人与行业服务 | 质量、延迟、成本和隐私要求是什么? |
| 算法层 | 网络结构、训练目标、优化与压缩 | 需要哪些算子,参数和激活有多大? |
| 系统层 | 框架、算子库、编译、运行时与调度 | 数据怎样布局,算子怎样执行,设备怎样协同? |
| 芯片层 | 运算单元、片上存储、访存与互连 | 算力、带宽、容量和功耗是否匹配? |
指令集和驱动连接硬件能力与上层软件。CUDA 的工具、库、开发经验和兼容性共同支撑模型运行,不能只用某一个 API 或芯片指标评价整套软件支持。
CPU 与 GPU 的分工可以很有效:CPU 适合控制和通用逻辑,GPU 擅长大量并行运算。数据搬运、任务规模和调度决定收益。端侧一体化则强调功耗、带宽、隐私和响应时间,不意味着云端系统会被完全替代。
给 7B 模型算一笔内存账
判断“笔记本能不能跑 7B”,首先需要估算权重体积:
\[M_{\mathrm{weights}}\approx N\frac{q}{8}\ \text{bytes}.\]其中参数量为 $N$,每个参数的存储位数为 $q$。以 70 亿参数为例,FP16 权重约 14 GB,理想的 4-bit 权重约 3.5 GB,均按十进制估算。实际量化还有分组尺度等元数据,这不是完整显存占用。
推理还需要 KV cache、激活和工作区;上下文长度、并发数、框架实现都会影响占用。训练又多出梯度、优化器状态以及为反向传播保存的激活。CPU 推理、内存卸载、量化和参数高效微调各自改变约束,也可能牺牲速度或带来精度变化。
权重体积之外,还需要明确运行条件:设备显存和内存多少?训练还是推理?精度与上下文是多少?允许多慢?同样是 7B,这些条件改变后,答案也会变。
三种思想路线与连接主义
课堂将 AI 思想概括为符号主义、行为主义和连接主义。符号主义显式表示知识与规则,适合逻辑结构明确的任务;行为主义强调环境反馈与感知行动闭环;连接主义用可训练网络学习表示和映射。实际系统可以组合三者,不能把符号方法说成完全不能处理不确定知识,也不能把连接主义直接等同于通用智能。
神经网络的基本运算可以写成:
\[a=\phi\left(\sum_i w_i x_i+b\right).\]权重一般可以为负、为零或大于一,并非天然限制在 $[0,1]$。部分概率、门控值有特定范围,不代表所有模型参数都如此。训练通过损失函数和优化过程调整参数;“连接强度承载知识”是理解模型的入口,不是把每个权重解释成一个完整概念。
人工神经网络受到生物神经元和突触的启发,但两者的计算机制不同。比较数量时,也要区分皮层与全脑、参数与突触。这种类比有助于说明连接结构,模型能力仍需通过具体任务评价。
历史脉络:表达能力与训练方法一起演进
| 节点 | 这条系统主线中的意义 |
|---|---|
| 1943 年 M-P 神经元模型、1958 年感知机 | 用计算模型描述连接与阈值行为 |
| 单层感知机的表达局限 | XOR 不能用单个线性决策边界解决;不代表所有多层网络无效 |
| 1974 年 Werbos 的相关工作、1986 年 Rumelhart、Hinton、Williams 的传播推广 | 反向传播的早期研究与后续推广 |
| 1998 年 LeNet | 网络结构与视觉任务结合 |
| 2006 年深层模型与逐层预训练研究 | 探索如何有效训练深层网络 |
| 2012 年 AlexNet | 数据、算法与 GPU 计算共同推动进展 |
| 2022 年 ChatGPT | 大模型通过交互产品进入广泛应用 |
这些年份把表达能力、训练方法和硬件条件串了起来。理解 AI 寒冬也需要同时看这些条件,以及当时的预期与投入。
课堂还提到 2024 年诺贝尔奖:物理学奖授予 Hopfield 和 Hinton;化学奖涉及 Baker 的计算蛋白质设计,以及 Hassabis、Jumper 的蛋白质结构预测。这些工作体现了机器学习与其他学科的联系。
课程要求与系统分析
课堂提到编程实践占比 10%,完整考核比例还需看课程通知。代码工具的使用按本课程要求执行;矩阵运算、反向传播和系统设计仍是理解程序行为的基础。
这门课把模型的计算量、权重大小、访存需求和通信模式联系了起来。端侧部署、轻量化、并行与编译优化,分别在这些环节上改变资源开销。
复习要点
- 为什么算力很高的设备仍可能被内存带宽限制?
- 独立估算 7B 的 FP16 和 4-bit 权重体积,并列出未计入部分。
- 区分训练、推理和参数高效微调的资源需求。
- 解释权重为什么不必落在零到一之间。
- 沿应用、算法、系统、芯片四层解释一次文本生成。