RedMoon / 训练日志

CS336 从零构建大语言模型

1 篇

  1. CS336 前三讲:从分词、张量核算到现代 Transformer

    CS336 前三讲笔记:解释 BPE 分词、训练计算量与显存估算,以及 Pre-Norm、RMSNorm、SwiGLU、RoPE 和 GQA 的作用,附注释完整的代码示例。

返回实践