从“知道术语”到看懂一条大模型训练链

一阶段交给下一阶段的不是只有权重。至少还有五个接口：权重初始化决定可探索的局部空间；数据分布决定哪些能力被频繁激活；序列与模板决定模型学到的交互协议；优化目标决定何种行为被加权；评测协议决定团队会继续优化什么。

因此，“在最终 Instruct checkpoint 上再加一点领域 SFT”与“从 Base/Mid-training checkpoint 注入知识，再恢复行为”是两个不同实验；它们的遗忘方式、梯度容量和所需评测也不同。

直接证据 Olmo 3 从约 9.3T-token 的 Dolma 3 语料池构造 5.9T-token 预训练混合；随后用 100B tokens 的 Dolmino 做数学、科学、代码、指令和阅读强化，再用约 50B tokens 的 Longmino 做长上下文扩展。Base 之后分成 Instruct、Think 与 RL-Zero：前两条都可观察 SFT→DPO→RLVR，RL-Zero 则从 Base 直接研究可验证奖励。

这个发布方式的研究价值在于：可以把同一底座、不同路径的 checkpoint 对齐，而不是把最终模型差异全部归因给最后一种 loss。团队还报告预训练最高使用 1,024 张 H100，7B 吞吐约 7.7K tokens/设备/秒；这些是系统测量，不是能力归因。

Qwen3 报告约 36T-token 预训练：S1 在 4K 上训练 30T+ tokens，S2 再加入约 5T 知识密集的 STEM、代码与推理数据，最后用高质量长上下文数据扩至 32K。后训练则依次为：长 CoT 冷启动、基于规则奖励的推理 RL、思考/非思考模式融合、覆盖 20+ 通用任务的 RL。

解释 第三阶段很关键：若只优化长推理，模型可能把高成本推理当成默认行为；“模式融合”是在能力之外训练一个控制面，让用户能分配推理预算。也就是说，后训练不仅提高分数，还可以定义能力何时被调用。

边界 两个团队的数据、基座、硬件与评测不同，不能用 token 数推断谁的数据效率更高；“阶段更多”也不等于效果更好。博客给出的流程说明了可行设计，但没有统一对照来证明每个阶段都是必要条件。

最小实验：保留 Base、知识中训、行为恢复三个 checkpoint；对每个点同时测领域 QA、通用 loss、指令遵循和输出长度。只有当“知识上涨但行为下降，随后行为可恢复且知识保留”时，才有证据支持你的阶段划分。

1. 抽取。HTML 到纯文本会丢结构，也可能保留导航、广告与模板噪声；抽取器本身就是数据模型。
2. 语言与基础过滤。去除非目标语言、极端长度、异常符号或解析失败，但阈值会系统性影响方言、代码和列表型知识。
3. 去重。FineWeb 采用按 crawl dump 的 MinHash 近似去重。去重减少重复模板与训练记忆，但跨 dump 过度去重可能一起删除正常复现的高质量文本。
4. 质量规则。选择部分 C4 规则，并加入重复行、短行比例等启发式过滤。规则的合理性必须通过固定训练预算的消融检验。
5. 模型过滤。FineWeb-Edu 用 Llama 3 70B 给约 50 万样本标注教育价值，再训练轻量分类器扩展到全库。

数据过滤存在一个反直觉陷阱：人工抽查很容易偏爱排版整齐、主题熟悉的文本，但预训练效用取决于覆盖、重复次数、难度和模型规模。FineWeb 的正确姿势是固定 tokenizer、架构、训练 token 与超参数，只更改一个处理决策，再比较代理模型的 validation loss 和下游能力。

直接证据 FineWeb-Edu 在知识与推理密集任务上表现明显更强，说明模型打分可以把稀缺的“高教育价值”信号扩展到万亿 token 级。

边界 “教育性”不是普适质量。教师提示偏向学校式知识，可能压低口语、社区经验、创意文本、少数文化表达或真实交互日志。更危险的是，只在 MMLU/ARC 等目标上验证分类器，可能把 benchmark 风格写入整个数据分布。

• 保留率：按语言、域名、文体、长度和时间切片记录规则前后比例。
• 反事实样本：每条规则保存“刚好被删/刚好保留”的边界样本，而不是只看随机样本。
• 等 token 消融：同训练预算比较下游曲线，不用单一终点分数。
• 能力覆盖：除目标榜单外，增加代码、长文、事实新鲜度、罕见知识和有害记忆等护栏评测。

DataDecide 关心的不是“150M 模型得 42 分，所以 1B 模型会得 58 分”，而是成对决策：若语料 A 在小规模上优于 B，它在目标 1B/100B-token 训练上是否仍优于 B。对开发者而言，这比拟合绝对分数更贴近真实问题——有限预算下先淘汰哪些数据方案。

理论上，多规模拟合能捕获两条曲线的交叉点；实践中，参数更多也意味着估计噪声更大，且小规模 checkpoint、任务指标和训练区间未必足以稳定识别斜率。DataDecide 测试的八种基线 scaling law 至多追平单规模排名。

解释 当目标是“选对”而非“预测精确终点”，一个低方差的粗排序器可能优于高方差的精细外推。这不是 scaling law 无用，而是提示：先用公开 sweep 校准你的外推器是否真的改善决策。

直接证据 MMLU 与 ARC Easy 在比目标计算量低多个数量级时仍较可预测；HellaSwag 等任务的跨规模排序更不稳定。代码任务又揭示第二个变量：用离散 pass/fail 准确率，小模型可能接近随机；改用字符长度归一化的答案似然，MBPP 与 HumanEval 的数据排序更可预测。

连续似然捕获“模型是否正在接近正确程序”，而离散执行只看到最后是否过线。代理实验因此至少有三层选择：模型规模、训练 checkpoint、评测统计量。

边界 80% 来自 4M–1B 参数、最高 100B-token 的研究矩阵，不能直接保证 150M 能预测 70B/MoE 或数万亿 token。数据配比、tokenizer、优化稳定性和涌现型任务都可能改变排名。

建议：先用 2–3 个中等规模点和多个种子，估计排序稳定性；只把明显劣势方案淘汰，把接近者留到更大规模。若某任务在相邻规模频繁翻转，就把它标成“不适合作为早期代理”，而不是继续拟合更复杂曲线。

Tülu 3 先按技能构造数据混合，再组合并补齐落后能力；合成回答主要来自 GPT-4o，代码部分使用 Claude 3.5 Sonnet。数据质量高并不消除教师偏差，因此需要后续偏好、可验证奖励和未见任务评测。

Tülu 3 从多模型生成候选，也加入自身 SFT 模型的 on-policy 回答，再由 GPT-4o 按帮助性、指令遵循、诚实和真实性评分。团队报告长度归一化 DPO 更好；新 prompts、更多独立 prompts 以及 on-policy completion 都改善聚合表现。

边界 LLM-as-a-judge 的偏好会写入模型；长度归一化解决部分长度偏差，不等于消除了裁判偏差、位置偏差或事实性错误。

RLVR 用答案匹配、代码执行或约束检查替代学习型 reward model。其优势是标签便宜、可重复；劣势是只有可形式化验证的任务才适用，而且错误的 verifier 会被模型利用。Tülu 3 报告，相对 DPO checkpoint，RLVR 在 MATH、GSM8K、IFEval 上分别最高提升约 1.7、3.3、1.3 点。

要区分两个概念：RLVR描述奖励信号是可验证的；PPO/GRPO/RLOO描述如何估计优势和更新策略。把“GRPO=RLVR”会掩盖真正的实验变量。

从 SFT 直接进入 RLVR，初始提升空间更大，所以 RLVR 的局部增量更显眼；但先做 DPO 可能改善一般指令行为、输出分布和有效轨迹比例，使后续 RL 在更好的状态分布上探索。最终 DPO→RLVR 更强，说明评价阶段不能只看“本阶段涨了多少”。

1. 学生生成一批轨迹并保存自身 log-prob。
2. 教师对这些完全相同的 token计算 log-prob。
3. 逐 token 计算 log πθ − log πT。
4. 用 importance-sampling 风格的 RL loss 更新学生，不反传教师。

这解释了一个有趣现象：最终错误答案有时惩罚不高，因为在错误前缀下它已经很可预测；真正高 KL 的往往是早先把推理带错的“分叉 token”。

Thinking Machines 从 Qwen3-8B-Base 的 400K-prompt SFT checkpoint（AIME'24 约 60%）出发，在约 150 步、约 77K prompts（每 prompt 4 samples）后达到约 70%。按其 FLOPs 估算，相对把离线 SFT 外推到 2M prompts，节省约 9×；若把生成离线教师数据的成本也算入，可到约 30×。

Qwen3 技术报告中的另一组数字是：RL 约 17,920 GPU-hours 得到 AIME'24 67.6%，OPD 约 1,800 GPU-hours得到 74.4%。这约是 GPU-hours 的 10× 差异，但硬件利用率、teacher scoring 并行度和训练栈会影响口径。早期摘要里“50–100×”更适合描述某些策略复现/步数效率信号，不能当作通用端到端成本定律。

边界 reverse KL 倾向追随教师高概率模式；教师对某种解法盲目，学生也会被拉回。若环境能提供教师之外的可验证新策略，仍需要探索与环境奖励。可行方向是把逐 token 蒸馏奖励与序列级环境奖励组合，但这会重新引入权重平衡和奖励冲突。

最小实验：同时测离线 SFT、RLVR、OPD；按教师 FLOPs、学生 FLOPs、rollout wall time、教师服务成本分别记账。只有质量—成本曲线而不是单一终点，才能决定部署方案。

该文使用 α=32，并对每个条件单独扫学习率。由于 1/r 缩放，训练初期每个 rank-1 外积更新的期望做平均，最初的有效更新尺度近似与 rank 无关；这解释了不同 rank 的最优学习率在短训练里相近，而不是“rank 加倍就必须把 LR 减半”。

实验曲线显示，低 rank 往往先沿着 FullFT/高 rank 的学习曲线下降，随后在某个数据规模或训练步数后逐渐落后。容量不足表现为样本效率变差，不是完全学不动。阈值随数据量、模型规模和任务结构变化。

这给出一个比“推荐 rank=64”更可靠的诊断：若提高 rank 后落后点向后移动，说明是容量；若所有 rank 都同样落后，先检查 target modules、batch size、学习率和实现。

直接证据 在该文的小数据设置中，attention-only 即使通过更高 rank 匹配可训练参数数目，仍显著弱于 MLP-only；MLP-only 与全层覆盖更接近。这说明“总参数数目”不能替代“更新位置”。知识和任务变换大量存于 MLP/MoE 路径，只调 attention 可能把适配器放在错误的子空间。

顺序建议：先覆盖所有关键线性层，特别是 MLP/MoE；再根据数据量调 rank；最后扫学习率。不要一开始用超高 attention rank 补偿错误覆盖。

作者给出信息论直觉：SFT 每个 token 都提供监督，一条长序列含 O(tokens) 级信息；结果奖励 RL 每条轨迹的 advantage 常接近 O(1) 个标量。其 MATH 设置约 10K 问题 × 32 samples，若粗略按每条 completion 一比特计算，总信息约 320K bits；而 Llama-3.1-8B 的全层 rank-1 LoRA 已约 3M 参数。

边界 这是解释性上界，不是严格的信息等价证明；reward 不是独立比特，参数也不是无损存储位。结论应读成“被测数学 RL 的有效更新维度很低”，不能推广到长时序 Agent、密集过程奖励或大规模 SFT。

LoRA 在部分 SFT 实验中比 FullFT 更不耐受大 batch，且加 rank 不能消除差距；这指向乘积参数化的优化动力学，而非单纯容量不足。高 rank LoRA 的最佳 LR 在实验中约为 FullFT 的 10 倍，rank 4–512 之间变化不到 2×，但 rank=1 有额外差异。

最小 sweep：固定全层覆盖，测试 3 个 rank × 4 个 LR × 2 个 batch；画 loss 对 token 曲线。若只看最终采样分数，很难区分优化慢、容量不足和评测噪声。

BPE 编码通常为字符串选择一个规范切分，但多个 token 序列可能 decode 成同一字符串。例如示意性的 ["he", "llo"] 与 ["hello"] 都可能还原为 “hello”。模型实际采样前者，事后重编码却得到后者；文本看起来不变，梯度位置已经变了。

工具返回不是策略生成的 token，因此 loss mask 应为 0；下一轮模型生成的 token mask 才恢复为 1。若最后才重建 mask，模板边界一变就可能把工具 token 也纳入优化。

1. 初始 prompt 编码一次，写入 running token buffer。
2. 模型生成的原始 token id 直接 append，并同步写入 loss mask=1。
3. 可以 decode/parse 以决定调用哪个工具，但解析结果只用于路由。
4. 工具结果需要模板包装时，分别渲染“工具前 prefix”和“加入工具结果后的 full”，取后者的 token 后缀 delta。
5. 把 delta append 到 buffer，loss mask=0；继续下一轮采样。

上下文压缩、删除旧 thinking、子 Agent 汇总都会把先前采样过的历史替换成“从未被该策略生成的 prompt”。这不只是工程偏差：PPO/GRPO 的 importance ratio 无法解释这个 Frankenstein 轨迹。

TITO 的保守做法是：找到最后一次历史重写，把此前所有内容冻结成 prompt（mask=0），只对重写后真实采样的尾部计算 loss。代价是可学习 token 变少；若轨迹频繁压缩，最终可能只剩很短的训练尾部。

• Token identity：训练 token 与采样日志逐位置相同。
• Mask identity：模型 token=1，工具/系统/重写历史=0，边界由生成时记录。
• Prefix preservation：每个支持的 chat template 在 tool message 上通过前缀测试。
• Truncation：中途截断不会触发静默 re-render；若无法证明安全就失败退出。
• Observability：监控 reward 之外，还记录 retokenization drift、模板版本、解析失败和 loss-bearing token 比例。

TRL v1 的价值正是在稳定接口与实验算法之间建立契约；库能提供训练器，但不能替你证明数据流遵守这些不变量。

一个粗略但有用的估算：BF16 参数约 2 bytes/param，梯度约 2 bytes，Adam 的一阶/二阶矩与可能的 FP32 master weights 再占约 8–12 bytes。于是持久训练状态常在 12–16 bytes/param 量级；7B 模型约需 84–112GB，还没算 activation、通信 buffer、碎片和临时张量。

选择顺序应从瓶颈出发：模型状态超显存先 ZeRO/FSDP；单层仍放不下再 TP；跨节点模型过大用 PP；序列 activation 爆炸再 CP。把所有维度都打开，往往只会把通信路径变得不可解释。

OlmPool 构造 26 个 7B 模型，仅改变四类注意力设计：QK normalization、GQA、sliding-window attention、预训练上下文长度；再用相同数据与流程扩展到 64K，并用 HELMET、RULER、LongPPL 评测。博客报告，单项影响常较小，但三项以上组合可让长上下文分数下降最多约 47%。

直接证据 训练 loss、validation perplexity、16 个短上下文任务，甚至 HELMET 8K，都不能可靠预测 32K/64K 排名；看似相同的模型在 32K 可相差 26+ 分。最差架构即使用 50B tokens 做扩展，也未追上 Llama 风格架构只扩展 1B tokens 的表现。

GQA 和滑窗通过减少 KV/全局注意力换取推理效率；较短预训练上下文节省预训练成本；QK norm 改善稳定性。但长上下文需要灵活地把注意力质量分配到远距离 token，这些约束可能共同减少可适应空间。文章还观察到无 QK norm 模型形成更强 attention sinks，并与更好的长上下文检索相关。

边界 attention sink 是相关机制线索，不等于已证明的唯一因果路径；26 个 7B 模型与三套 benchmark 也不能覆盖所有 MoE、位置编码和真实 Agent 工作负载。正确结论是“早做小规模上下文扩展实验”，不是“永远不要用 QK norm/GQA/滑窗”。

在架构冻结前，从早期 checkpoint 抽两个候选，各做 1B-token 级长上下文扩展；至少测 8K/32K/64K 的检索、长程依赖 perplexity 与真实任务，并记录 KV cache/吞吐成本。若 8K 持平而 32K 已明显分叉，就不要期待后期“多加长数据”自动抹平。

读任何新模型报告，都先把这五项填全。若报告只说“使用 RL 显著提升”，却不说明初始 checkpoint、采样预算和 verifier，算法名几乎没有归因价值。

TRL v1 同时维护稳定与实验接口，覆盖 PPO、GRPO、RLOO、DPO 系列，并把异步 rollout、分布式后端和快速变化的方法隔离开。这个方向本身就是信号：真实后训练系统要解耦采样、奖励、优势计算、训练、权重同步和数据记录。

一旦异步，rollout 可能来自旧策略；一旦多轮，token identity 可能被破坏；一旦多教师，不同反馈可能冲突。系统需要报告 policy lag、样本年龄、token 对齐率、无效轨迹比例、verifier 通过率和硬件利用率，而不是只展示 reward 曲线。

• 把后训练看成数据生成系统：模型不断暴露错误，环境与教师把错误变成下一轮监督。
• 把算法看成信用分配器：它决定一个序列级结果如何分配到 token 和更新。
• 把基础设施看成实验变量：异步程度、采样吞吐和 token 契约会改变方法本身。
• 把评测看成控制回路：如果开发集长期参与数据选择，它已不再是独立证据。