docs: 按 D2L 风格润色 24.4-24.5、第 25/26 章与附录 A 标题

Author: sanbuphy

docs/.vitepress/config.mjs

@@ -1314,11 +1314,11 @@ const zhSidebar = {
               link: '/chapter28_vla/embodied-intelligence/'
             },
             {
-              text: '24.4 图像生成怎样用强化学习对齐',
+              text: '24.4 图像生成的强化学习对齐',
               link: '/chapter29_visual_generation/visual-generation-dancegrpo'
             },
             {
-              text: '24.5 视频为什么会前后矛盾',
+              text: '24.5 视频的时间一致性',
               link: '/chapter29_visual_generation/video-generation-modern'
             }
           ]
@@ -1334,23 +1334,23 @@ const zhSidebar = {
           collapsed: false,
           items: [
             {
-              text: '25.1 奖励越高，任务为什么反而做坏',
+              text: '25.1 奖励与任务的背离',
               link: '/chapter30_alignment_failures/classical-failures'
             },
             {
-              text: '25.2 如何判断 RLVR 提升是真的',
+              text: '25.2 RLVR 的假性提升',
               link: '/chapter30_alignment_failures/modern-incidents'
             },
             {
-              text: '25.3 模型为什么会在特定条件下切换行为',
+              text: '25.3 潜伏行为与条件切换',
               link: '/chapter30_alignment_failures/sleeper-and-faking'
             },
             {
-              text: '25.4 如何防止模型钻奖励漏洞',
+              text: '25.4 奖励漏洞的防御',
               link: '/chapter30_alignment_failures/scaling-and-defenses'
             },
             {
-              text: '25.5 如何可信地评测强化学习模型',
+              text: '25.5 评测协议与可复现性',
               link: '/chapter30_alignment_failures/rl-evaluation'
             }
           ]
@@ -1360,19 +1360,19 @@ const zhSidebar = {
           collapsed: false,
           items: [
             {
-              text: '26.1 模型怎样自己产生训练数据',
+              text: '26.1 自博弈与训练数据生成',
               link: '/chapter32_selfplay/self-play-outlook/'
             },
             {
-              text: '26.2 新增算力应该花在哪里',
+              text: '26.2 训练时与测试时的规模扩展',
               link: '/chapter32_selfplay/rl-scaling-outlook'
             },
             {
-              text: '26.3 多个 LLM 怎样共同学习',
+              text: '26.3 多智能体协同学习',
               link: '/chapter32_selfplay/llm-multi-agent-rl/'
             },
             {
-              text: '26.4 LLM 怎样搜索新算法',
+              text: '26.4 LLM 驱动的算法搜索',
               link: '/chapter32_selfplay/alphaevolve/'
             }
           ]
@@ -1387,19 +1387,19 @@ const zhSidebar = {
           collapsed: false,
           items: [
             {
-              text: 'A.1 训练为什么跑偏',
+              text: 'A.1 训练跑偏的症状',
               link: '/appendix_industrial_training/training-debugging'
             },
             {
-              text: 'A.2 一批轨迹怎样变成一次更新',
+              text: 'A.2 从轨迹到策略更新',
               link: '/appendix_industrial_training/rl-infrastructure'
             },
             {
-              text: 'A.3 Agent 为什么必须在沙箱里训练',
+              text: 'A.3 沙箱与 Agent 训练',
               link: '/appendix_industrial_training/agentic-rl-infra'
             },
             {
-              text: 'A.4 怎样证明模型真的变好',
+              text: 'A.4 模型改进的评测验证',
               link: '/appendix_industrial_training/evaluation-badcase'
             }
           ]

docs/appendix_industrial_training/agentic-rl-infra.md

@@ -1,4 +1,4 @@
-# A.3 Agent 为什么必须在沙箱里训练：隔离、轨迹与调度
+# A.3 沙箱与 Agent 训练
 
 设想一个代码修复 Agent。它收到仓库和问题描述，先读取源码，再修改文件并运行测试。一次探索中，Agent 发现删除一个本地测试文件后，公开测试仍然返回成功；另一次探索中，它读取了工作目录里的 `.env`，把其中的信息写进答案。两条轨迹都可能得到高奖励，但都没有完成真实任务。
 

docs/appendix_industrial_training/evaluation-badcase.md

@@ -1,4 +1,4 @@
-# A.4 怎样证明模型真的变好：评测基准与 Badcase 闭环
+# A.4 模型改进的评测验证
 
 假设同一轮训练产生两个 checkpoint。A 的训练奖励是 0.82，私有任务成功率是 41%；B 的训练奖励只有 0.65，私有任务成功率却是 46%，平均工具调用成本也更低。若只按训练奖励选模型，系统会发布一个真实任务表现更差的版本。
 

docs/appendix_industrial_training/rl-infrastructure.md

@@ -1,4 +1,4 @@
-# A.2 一批轨迹怎样变成一次更新：RL 训练系统底座
+# A.2 从轨迹到策略更新
 
 先看一个简化的 GRPO 训练例子。系统取 64 道题，每题生成 8 条回答，一共得到 512 条样本。假设生成耗时 45 秒，规则评分耗时 4 秒，参数更新耗时 12 秒。即使把反向传播加速一倍，整轮时间也只从 61 秒降到 55 秒；这组时间记录里的主要瓶颈是回答生成。
 

docs/appendix_industrial_training/training-debugging.md

@@ -1,4 +1,4 @@
-# A.1 训练为什么跑偏：从第一条异常曲线开始调试
+# A.1 训练跑偏的症状
 
 先看一组很常见的训练记录。某个数学推理模型在第 800 步时，训练奖励从 0.18 升到 0.73；同一时间，固定评测集的正确率从 42% 降到 40%，平均回答长度却接近翻倍。程序没有报错，损失也能正常反向传播。只看训练奖励，这次实验似乎进展顺利；把评测和输出样本放在一起看，模型更可能学会了奖励函数偏爱的长格式。
 

docs/chapter29_visual_generation/video-generation-modern.md

@@ -1,4 +1,4 @@
-# 24.5 视频为什么会前后矛盾：视频 RLHF 与物理评测
+# 24.5 视频的时间一致性
 
 先想象一段只有四秒的视频。
 

docs/chapter29_visual_generation/visual-generation-dancegrpo.md

@@ -1,4 +1,4 @@
-# 24.4 图像生成怎样用强化学习对齐：从 DDPO 到 DanceGRPO
+# 24.4 图像生成的强化学习对齐
 
 先看一条很普通的生成指令：
 
@@ -418,7 +418,7 @@ DPOK 用带 KL 约束的强化学习微调扩散模型[^dpok]，DRaFT 对可微
 
 DDPO 完成了这项基础转换。PPO 风格的概率比、裁剪与 KL 约束让更新保持稳定。DanceGRPO 进一步把扩散与 rectified flow 统一到可计算概率的随机采样过程，并用同一条件下的一组结果估计相对优势。
 
-最后，训练效果的上限取决于奖励。审美、文本对齐和人类偏好各自只覆盖“好图”的一部分。下一节 [24.5 视频为什么会前后矛盾：视频 RLHF 与物理评测](./video-generation-modern) 加入时间轴，讨论人物身份、动作顺序和物理因果怎样进入奖励与评测。
+最后，训练效果的上限取决于奖励。审美、文本对齐和人类偏好各自只覆盖“好图”的一部分。下一节 [24.5 视频的时间一致性](./video-generation-modern) 加入时间轴，讨论人物身份、动作顺序和物理因果怎样进入奖励与评测。
 
 ## 参考资料
 

docs/chapter30_alignment_failures/classical-failures.md

@@ -1,4 +1,4 @@
-# 25.1 奖励越高，任务为什么反而做坏：经典对齐失败
+# 25.1 奖励与任务的背离
 
 前面的章节一直在训练策略获得更高奖励。现在我们检查一个更基础的问题：奖励升高以后，事情是否真的做得更好。
 

docs/chapter30_alignment_failures/modern-incidents.md

@@ -1,4 +1,4 @@
-# 25.2 如何判断 RLVR 提升是真的：排除污染与验证器漏洞
+# 25.2 RLVR 的假性提升
 
 MATH-500 是从公开数学竞赛题中整理出的 500 道测试题。每道题都有可以自动核对的最终答案，因此常被用来观察数学推理模型的表现。
 

docs/chapter30_alignment_failures/rl-evaluation.md

@@ -1,4 +1,4 @@
-# 25.5 如何可信地评测强化学习模型：从 Benchmark 到 Harness
+# 25.5 评测协议与可复现性
 
 同一个模型在同一批题上，可以得到两个不同分数。第一次用温度 `0`、每题生成一次、从最后一行抽取答案；第二次用温度 `0.8`、每题生成 16 次，再由验证器挑选最好答案。模型参数没有变化，评测协议已经改变了问题。