RedMoon / 训练日志

Karpathy 从零构建大模型

7 篇

  1. Day11:从 Bigram 到自注意力——把 GPT 一块块拼起来

    追随Karpathy大佬的脚步

  2. Day10:不用 Conv1d,手拼一台层级 CNN——感受野 1→2→4→8

    追随Karpathy大佬的脚步

  3. Day9:MLP的另外一项收尾——重写反向传播

    追随Karpathy大佬的脚步

  4. Day8:MLP的一些收尾工作

    追随Karpathy大佬的脚步

  5. Day5:字符级 MLP 实战——把 Bengio 的图跑通在名字上

    追随Karpathy大佬的脚步

  6. Day3:从 bigram 统计到可训练的字符语言模型(活字乱刷术)

    追随Karpathy大佬的脚步

  7. Day1:从零手写 autograd:micrograd 全记录

    追随Karpathy大佬的脚步

返回实践