RedMoon / 训练日志

大模型基础与经典论文

2 篇

  1. Day7:浅尝 GPT-1 至 GPT-3——从预训练+微调到上下文学习的演进

    阅读一些天书

  2. Day2:Attention is All You Need——传世经典

    从 RNN 两大死穴出发,逐段拆解 Transformer:尺度化点积注意力、多头视角、LayerNorm 选择、位置编码指纹设计,并用一个可训练的玩具注意力模型验证。

返回论文