智能
上下文
- 智能100168
- ?
下一个 token 的概率
- 的0.41
- 是0.18
- 在于0.12
- ，0.08
- 与0.05
公式、代码、交互图，一一对应
把位置写进旋转角度，两个向量的点积就只剩下相对距离 m−n。
def rotate_half(x):
x1 = x[..., : x.shape[-1] // 2]
x2 = x[..., x.shape[-1] // 2 :]
return torch.cat((-x2, x1), dim=-1)
q_embed = (q * cos) + (rotate_half(q) * sin)
k_embed = (k * cos) + (rotate_half(k) * sin)课程大纲
- 01基础Tokenization · Transformer · 优化
- 02系统GPU Kernels · 并行 · 推理加速
- 03规模化Scaling Laws · 算力预算
- 04数据清洗 · 过滤 · 去重 · 混合
- 05评估Benchmark · 解析 · 可靠性
- 06后训练SFT · RLHF · GRPO · DPO
- 01数据准备下载 · 清洗 · 打包
- 02分词器训练RustBPE · tiktoken
- 03模型搭建BentoLM · RoPE · Muon
- 04预训练Muon · WSD · 规模化
- 05中期训练长上下文 · RoPE 缩放
- 06后训练对齐SFT · RL
更多内容即将推出，敬请期待
定价
求职会员
课程终身会员 7.5 折
- 简历匹配：从 2 万多个在招 AI 岗位里挑出最合适的
- 每天早上把新出现的合适岗位发到你的邮箱
- X、LinkedIn 上团队直招的帖子，附发帖人和原帖
- 每个岗位写明匹配度、共同技能和级别差距
- 申请链接直达公司官网，岗位每天更新
- 可按地区、工作方式和级别筛选
终身版
课程仍在构建中，现在是早期价格
一次付费，永久使用
- 全套可运行源码
- 独家交互式可视化
- 模型训练深度拆解
- 生产级实战项目
- 享受内容永久免费更新
- 解锁现有及未来所有课程章节
常见问题
适合想真正吃透 LLM 底层原理的开发者，无论你是想从 CV、后端等方向转入大模型，准备相关岗位面试，还是工作中需要训练或优化模型。只要你不满足于「会调 API」，想知道每一行背后发生了什么，这门课就是为你准备的。
如果只是想用好 AI，问 ChatGPT 就够了。这门课面向想做 AI 本身的人：把模型训出来、跑起来、评清楚。AI 能帮你写代码，但训练出问题时找原因、判断一次实验值不值得花钱，还得靠你自己懂。AI 公司招人看的也是这些：求职板块里约四分之一的岗位写明了训练、推理或评测方面的技能。
你将能够亲手实现分词器、注意力、Transformer 等核心模块，从零跑通一个小模型的完整预训练流程，并理解显存、并行与训练瓶颈的来龙去脉。面对论文里的公式或工程中的问题，你能把它对应到具体代码，而不再是黑盒。
建议你熟悉 Python 语法，并了解基本的 PyTorch 操作（如 Tensor 形状变换）。如果你懂一点 C++ 或 CUDA 会更好，不懂也没关系，我们会从第一性原理讲起。
可以。课程从零训练的是小模型，对硬件要求不高，很多章节用免费或低成本的云 GPU 即可完成；原理精讲部分大多在本地就能运行。我们也在与云服务商洽谈，争取为学员提供更优惠的 GPU 资源。
原理精讲聚焦单个核心模块的深度拆解，分词、注意力、FlashAttention、分布式训练等，每个都讲透原理并配可运行代码；动手训练则是一条端到端的主线，带你从数据到监控，完整训练出一个小模型。两者互补：前者帮你「懂」，后者帮你「会」。
多数教程停在两个地方：教你调用现成框架，或者把论文复述一遍。CookLLM 从零实现每个核心模块，目的是让你真正弄懂原理：知道注意力为什么要除以根号 d，KV Cache 省下的是哪一部分计算，而不只是记住几个名词。文档是交互式的，公式、图示和可运行的代码一一对应；配套的 recipes 与 bento 两个代码库可以边读边跑，自己验证每一步。
会。课程仍在持续扩充中（如 MLLM、Agent 等方向），购买后所有新增章节都会免费更新。我们会保持稳定的更新节奏，你随时可以查看最新进度。