📃 前言

LLM-Everything

从零开始，系统掌握大语言模型的一切。

---

✨ 为什么是这个项目？

市面上不缺 LLM 教程，但缺的是真正讲明白的。

• 🎯 不复制粘贴 — 每篇文章精心打磨，用生动的方式拆解复杂概念
• 🔨 从零实现代码 — 不只讲理论，带你亲手写出来，在实战中理解原理
• 🗺️ 体系化路线 — 从基础到前沿，完整的学习路径，不再迷路

---

📚 知识地图

🎚️ 基础部分

🐍 Python 基础

• logging 模块
• import 模块
• multiprocessing 模块

🐘 机器学习基础

• 文本表示模型
  • Bag-of-Words
  • Topic Model
  • Static Word Embeddings

🪿 深度学习基础

• 🚧 持续更新中...

🐬 LLM 基础

• 思考模式切换
• 为什么现在的LLM都是decoder-only架构

🐬 Prompt Engineering

• Tree of Thoughts

🦖 Transformer 架构

逐模块拆解 Transformer

Tokenizer

• tokenizer.md

Embeddings

• ELMo
• BERT
• GPT

Positional Encoding

• positional-encoding.md

Self Attention

• self-attention.md

Multi-Head Attention

• multi-head-attention.md

Add & Norm

• add-and-norm.md

FeedForward

• feedforward.md

Linear & Softmax

• linear-and-softmax.md

Decoding Strategy

• decoding-strategy.md

🎄 LLM 训练

显存需求

• LLM 精度问题
• 训练需要多少显存

分布式并行

• 数据并行
• 模型并行
• 优化器并行
• 异构系统并行

训练流程

• 数据准备
  • 课程学习
• 预训练
  • data-engineering.md
  • hyper-param.md
  • long-text-extension.md
  • evaluation_and_engineering.md
• 监督微调
  • data_engineering.md
  • peft.md
  • training-strategy.md
  • evaluation.md
• 强化学习

🐒 MoE（混合专家模型）

• 专家并行

🪿 LLM 应用

• RAG
• Graph RAG

🐢 多模态大模型

• QFormer

🔒 LLM 安全

• 🚧 持续更新中...

---

🤝 参与贡献

本项目正在快速迭代中，欢迎：

• 🐛 提 Issue 指出错误或疑问
• 🔀 提 PR 补充内容
• ⭐ 觉得有用就给个 Star，这是最大的鼓励

---

如果这个项目帮到了你，请点个 ⭐ Star 支持一下！