2022 年底，以 ChatGPT 为代表的大语言模型迅速走入大众视野，重新定义了人工智能的发展节奏。此后，GPT‑4、DeepSeek‑R1、Qwen 等模型不断刷新着人们对 AI 能力边界的认知。大语言模型（Large Language Model, LLM）逐渐成为自然语言处理乃至整个人工智能领域的研究核心。从学术界到产业界，从互联网公司到传统行业，大模型技术正深刻影响着技术创新的方式，也在逐步重塑人们学习、工作与创造的范式。
从技术演进的角度看，LLM 并非横空出世，而是建立在长期积累的研究基础之上。自然语言处理领域经历了符号主义、统计学习、深度学习等阶段，并逐步发展到以 BERT 和 GPT 为代表的预训练语言模型。通过大规模无监督数据训练，这些模型具备了强大的语言理解能力。而随着模型参数、数据规模和计算能力的持续增长，研究者又探索出指令微调、强化学习对齐等新的训练范式，使模型在理解、推理与生成能力上不断突破，最终催生了今天的大语言模型时代。
然而，大模型的快速发展也带来了新的技术挑战。相比传统机器学习任务，构建和训练一个 LLM 不仅涉及模型架构设计，还包括数据工程、分布式训练、GPU 性能优化、推理系统设计、模型评估等多个复杂环节。对于学习者而言，理解这些技术往往面临两大困难：一是理论知识体系庞杂，二是缺乏系统化、可实践的学习路径。
正是在这样的背景下，我们希望这门 CS336 中文课程，不仅仅是原版课程的翻译或“汉化版”，而是一座为中文学习者量身打造的 “大模型炼丹工坊”。在这里，你不仅可以理解大模型背后的核心理论，更可以亲自动手构建和训练模型，在不断实验与迭代中掌握 LLM 研发的完整流程。我们希望通过系统化的内容设计，让学习者像炼丹一样——从准备材料、控制火候到最终成丹——一步步构建出属于自己的 LLM。
本课程在保留原版课程技术深度的基础上，对知识体系进行了重新组织与本土化改造。内容既涵盖大模型的核心理论，如 Transformer 架构、Scaling Laws、训练流程与对齐技术，也深入介绍工程层面的关键问题，包括 GPU 编程、高性能优化、分布式训练与推理系统等。同时，我们结合国内开发者的实际环境，在案例与讨论中融入了更多贴近现实的内容，例如国产开源模型生态与常见工程实践路径。
在学习方式上，本课程强调 “代码驱动、知行合一”。理论学习只是第一步，真正理解大模型的关键在于动手实践。因此，课程设计了一系列循序渐进的实践作业——从实现分词器、搭建语言模型架构，到进行数据处理、系统优化与模型对齐——逐步带领读者构建完整的大模型训练与评估流程。通过这些实践，你将不仅理解大模型“是什么”，更能真正掌握“如何构建一个大模型”。
学完本课程后，你将获得一套完整的大模型知识体系：既能理解 LLM 的核心原理，也能参与实际的大模型工程开发。从数据准备到模型训练，从系统优化到评估部署，这些能力将帮助你在 AI 新时代建立坚实的技术基础，也为未来从事科研探索或工业级大模型研发做好能力储备。
本课程围绕大语言模型的核心原理与工程实践展开，内容涵盖模型架构、训练方法、系统优化、数据工程、模型评估等多个方面。课程既注重理论基础，也强调工程能力的培养，旨在帮助学习者系统掌握 LLM 技术体系，并具备从零构建和训练语言模型的实际能力。
本课程适合具备一定技术基础的学习者。在开始学习之前，你需要熟练掌握 Python 编程语言，并具备基本的软件工程能力，例如代码组织、调试和实验管理等。同时，你需要对深度学习的基本原理有所了解，包括神经网络结构、反向传播和优化算法等。如果你熟悉 PyTorch 框架，并具备线性代数、概率统计和微积分基础，那么在学习过程中将会更加顺利。此外，了解 GPU 计算或 CUDA 的基本概念会有助于理解课程中的系统优化部分，但这并不是必须条件，课程中会逐步介绍相关基础与实践方法，因此不必担心。
目前绝大部分教程仅仅局限在大模型的基础组件搭建，对于数据处理，资源核算，GPU的原理，分布式训练、模型评估和强化学习等方面还未有涉足，我们的目标是让读者完整学习并体验大模型构建的完整流程。这是本教程的优势。
本课程按照构建大模型系统的完整流程进行组织，整体上可以分为三个层次。第一层次为基础组件，主要介绍构建语言模型所需的核心部件，例如分词器、Transformer 架构以及训练原语等，为后续内容奠定基础。第二层次为系统实现，课程将逐步深入到更复杂的系统层面，包括混合专家模型（MoE）、GPU 高性能编程、分布式训练以及模型扩展规律等关键主题。第三层次为完整训练流程，课程将完整讲解大模型训练与应用的全流程，涵盖数据工程、模型训练流程、模型对齐方法以及评估与推理优化等内容。通过这一循序渐进的学习路径，你将逐步建立起完整的大模型技术体系。
在学习方式上，我们强烈建议你将理论学习与动手实践结合起来。理解大模型最有效的方法不是仅仅阅读文档，而是通过编写代码、运行实验和分析结果来不断加深理解。课程中的实践作业从实现基础组件开始，例如手写分词器和语言模型结构，然后逐渐扩展到系统优化、数据处理、模型对齐以及模型评估等任务。建议你认真完成每一个作业，并尝试在不同配置或参数下进行实验，这些实践经验将帮助你更深入地理解模型设计与系统实现之间的关系。
同时，大模型领域的发展速度非常快，新方法、新架构和新工程工具不断出现。因此，在学习课程内容的同时，我们也鼓励你保持对前沿技术的关注，例如阅读最新的研究论文、关注开源社区以及参与相关技术讨论。通过与社区的互动，你不仅能够获得更多实践经验，也能够更好地理解当前大模型技术的发展趋势。
最后，希望你在学习本课程的过程中保持耐心与探索精神。构建大模型是一项复杂而系统的工程，需要不断试验、调试与优化。在这个过程中，遇到困难和挑战是非常正常的，但正是这些过程会帮助你真正理解技术背后的原理。当你最终能够从零构建并训练一个语言模型时，你将获得的不仅是知识，更是一种解决复杂工程问题的能力。
大模型技术仍在快速发展，从架构到方法，每年都有新的突破。我们希望这门课程不仅能帮助你理解当前的技术，更能培养你持续探索和构建复杂 AI 系统的能力。
欢迎你加入大模型开发者的行列。愿这门课程成为你进入 LLM 世界的一块基石，帮助你在未来的 AI 时代中不断探索、创造与成长。
欢迎来到这座“LLM 炼丹工坊”。愿你在不断实验、调试与思考的过程中，逐渐掌握构建大模型的技艺，并在大模型时代中创造属于自己的成果。