从零构建大模型

用一套可读懂的代码，理解语言模型怎样运转

调用模型接口以后，如果还想继续弄清楚文本怎样变成向量、注意力怎样计算、训练循环究竟更新了什么，《从零构建大模型》提供了一条连贯的学习路线。它以 PyTorch 实现为主线，让读者逐步拼出 GPT 风格的语言模型，再接上预训练与任务微调，把分散的术语放进能够跟踪的数据流。

本书作者为 Sebastian Raschka，中文署名塞巴斯蒂安·拉施卡，原作名为 Build a Large Language Model (From Scratch)。简体中文版由覃立波、冯骁骋、刘乾翻译，人民邮电出版社于2025年4月出版，属于图灵程序设计丛书，325页，ISBN 为9787115666000。可从图灵官方书页查看版本信息；英文原版于2024年9月由 Manning 出版。

七章主线：从文本到可以微调的模型

理解输入：文本、词元和注意力

前几章建立语言模型的基本概念，处理文本数据，并逐步实现注意力机制。这一阶段适合把重点放在张量形状上：同一段文字经过分词、嵌入和注意力计算之后，数据各维度分别代表什么？能画出这些转换关系，后面阅读模型代码会轻松很多。

连接模块：实现 GPT 与预训练流程

中间章节把组件组织成可生成文本的 GPT 模型，再介绍无标签数据上的预训练。跟随代码时，建议同时检查三个环节：输入与目标是否正确对应，损失怎样反映预测误差，参数更新以后生成结果怎样变化。模型结构、训练过程与生成过程分开理解，有助于定位后续实验中的问题。

改变用途：分类微调与指令微调

后两章进入文本分类和遵循指令的微调，展示同一基础结构如何适配不同任务。附录补充 PyTorch、训练循环优化、LoRA 等内容，中文版还收录了关于推理模型的附录。目录和配套学习资源可参看Manning 原版书页及作者代码仓库。

阅读门槛：Python 基础比追逐最新模型更重要

• 适合希望理解底层实现的开发者：已经会用大模型，准备继续学习注意力、训练与微调，能够从连续实现中建立更扎实的理解。
• 适合机器学习或计算机专业学习者：可以把本书作为实践课程，配合已有的数学和神经网络知识，验证概念怎样落实到程序。
• 适合愿意调试的小型项目实践者：需要愿意处理依赖、数据和张量维度问题，读完代码后主动做小范围修改。

作者在仓库中把扎实的 Python 编程基础列为主要前提，PyTorch 经验有帮助，但可以结合附录补课。若还不熟悉函数、类、数组和程序报错，建议先练习这些基础；如果只想快速搭建聊天应用，优先使用现成模型和应用开发资料，随后再回头补本书的实现路线。

与《AI工程》《图解大模型》如何选择

三本书可以分别承担实现、应用决策和概念理解的学习任务。以下比较按阅读目标归纳，便于安排先后顺序。

准备深入训练与微调，可以把本书放在主线；希望先建立大模型知识地图，可从《图解大模型》入手；若已有产品需求，重点是检索、评估与上线，《AI工程》更适合先读。选择顺序时，以眼前要解决的问题为准。

建议跟着代码完成四步学习

1. 按章节顺序读。先理解本章要完成什么，再运行对应代码；前面的数据处理和模型结构会被后续章节反复使用。
2. 给关键张量写注释。记录形状、含义和变化，特别关注批次、序列长度、嵌入维度与注意力头之间的关系。
3. 做一个有控制的小实验。每次只改一项，例如上下文长度或训练轮数，观察损失、运行时间与输出变化，并保存配置。
4. 完成练习后再扩展。先确认主章节代码跑通，再看仓库补充材料。作者也提供了分阶段阅读与练习建议，适合用来安排学习节奏。

实践价值与硬件边界

这本书值得投入时间的地方，是让读者能够追问并解释一个模型：为什么需要这一层，数据在哪里改变形状，微调修改了什么，生成结果为什么受训练数据影响。掌握这种检查方式以后，阅读开源模型代码、比较训练方案或处理实现错误，都会更有依据。

作者说明主章节代码按普通笔记本可学习的规模设计，并会在可用时利用 GPU；具体耗时仍取决于设备、模型大小与实验设置。学习性实现和小规模训练不能代表训练前沿基础模型的资源要求，也不能承诺获得商业助手同等能力。使用配套仓库时，应区分书内主线与后来新增的扩展内容，并记录依赖版本和随机种子，方便复现结果。