docs: restore section titles in visual generation RL pages

Keep the prose polish but revert the H2 section headings to their
original wording, changing content only.

Author: sanbuphy

docs/chapter29_visual_generation/video-generation-modern.md

@@ -4,7 +4,7 @@
 
 这一节我们换视角——**工业层面**：2025-2026 年的视频生成模型（Seedance、LongCat-Video、Hailuo、Wan、Kling）是怎么用 RL 训练的？这些工作代表了视频生成 RL 的工业 SOTA。
 
-## 24.5.1 从图像到视频：RL 的新挑战
+## 24.5.1 从图像到视频 与 RL 的新挑战
 
 图像生成的 RL 已经成熟（[DDPO](./visual-generation-dancegrpo)、DPOK）。但视频生成带来新挑战：
 
@@ -42,7 +42,7 @@ RL 训练需要大量 rollout——每次 rollout 几分钟，让视频 RL 的
 - **DanceGRPO**：把 GRPO 思想用到 diffusion（图像 + 视频）
 - **Seedance / LongCat**：用 RLHF-style 训练 + 工程优化
 
-## 24.5.2 DanceGRPO：把 GRPO 用到 Diffusion
+## 24.5.2 DanceGRPO 与 Diffusion 的 GRPO
 
 [DanceGRPO](https://arxiv.org/abs/2505.07818)（字节 Seed, 2025.05）是 diffusion RL 的重要突破。它的核心贡献是：**把 GRPO 思想直接用到 diffusion 训练**。
 
@@ -100,7 +100,7 @@ DanceGRPO 的核心优势：
 
 DanceGRPO 在工业上已经替代 DDPO/DPOK 成为 diffusion RL 的默认选择——这与 GRPO 在 LLM 领域的地位一致。
 
-## 24.5.3 Seedance：字节跳动的视频生成旗舰
+## 24.5.3 Seedance 与 字节跳动的视频生成旗舰
 
 [Seedance](https://seed.bytedance.com/)（字节跳动，2025.03 发布，2025.10 升级 1.0 Pro）是中国视频生成 SOTA 之一。它在 VBench（视频生成 benchmark）上多次排名第一。
 
@@ -189,7 +189,7 @@ VBench 2025.10 排行：
 
 Seedance 是中国视频生成 SOTA，超越 Sora 2 和 Veo 3。
 
-## 24.5.4 LongCat-Video：高效长视频生成
+## 24.5.4 LongCat-Video 与 高效长视频生成
 
 [LongCat-Video](https://arxiv.org/abs/2510.22200)（美团, 2025.10）是另一个重要工作——专注**长视频生成**。
 
@@ -249,7 +249,7 @@ LongCat-Video 在长视频生成上达到 SOTA：
 | Wan 2.5 Long      | 70%             | 68%        |
 | **LongCat-Video** | **78%**         | **75%**    |
 
-## 24.5.5 Hailuo：MiniMax 的视频生成
+## 24.5.5 Hailuo 与 MiniMax 的视频生成
 
 [Hailuo](https://hailuoai.video/)（MiniMax，2024.09 发布，2025.07 升级 02）是另一个中国视频生成 SOTA。
 

docs/chapter29_visual_generation/visual-generation-dancegrpo.md

@@ -24,7 +24,7 @@
 
 这张图对应的算法主线来自 DDPO 论文；后文把 Diffusion 写成 MDP、再用策略梯度更新去噪轨迹，也以这篇论文为核心参照[^ddpo]。
 
-## 从 LLM 到 VLM 再到视觉生成：RL 迁移时到底变了什么？
+## 从 LLM 到 VLM，再到视觉生成 与 RL 迁移时到底变了什么？
 
 与其只问“VLM 能不能直接迁移到生成”，不如先看一条更长的路线：
 
@@ -772,7 +772,7 @@ for prompts in prompt_loader:
 
 > 对同一批 prompt，让模型自己生成一批样本；把生成结果按 reward 分出好坏；提高好样本去噪轨迹的概率，降低差样本去噪轨迹的概率，同时用 KL 和 clipping 防止模型偏移过猛。
 
-## Reward Model：生成 RL 的真正瓶颈
+## Reward Model 与 生成 RL 的真正瓶颈
 
 到这里，算法已经有了。但生成 RL 的困难往往不在“能不能写出策略梯度”，而在“reward 到底可信吗”。
 
@@ -861,7 +861,7 @@ $$
   <em>图 3：PickScore 用偏好模型重新排序候选生成结果。它说明视觉 reward 不只是离线评测数字，也可以直接改变采样或排序阶段展示给用户的结果。来源：<a href="https://stability.ai/research/pick-a-pic" target="_blank" rel="noopener noreferrer">Stability AI Research</a></em>
 </div>
 
-## 两种用 reward 的方式：训练时用，还是推理时用？
+## 两种用 reward 的方式 与 训练时用，还是推理时用？
 
 有了 reward model 以后，不一定马上做 RL 微调。它有两种常见用法。
 
@@ -916,7 +916,7 @@ $$
 
 直觉上，图像生成的错误常常是“某个地方画错了”；视频生成的错误常常是“前后关系断了”。这就是为什么视频 reward 更依赖片段级和整体级评估。
 
-## On-Policy 蒸馏：把 RL 得到的能力固化下来
+## On-Policy 蒸馏 与 把 RL 得到的能力固化下来
 
 RL 微调后的模型可能更符合偏好，但它也可能更慢、更贵，或者只适合某个特定采样设置。On-policy 蒸馏的目标，是把 RL 后模型在当前分布上产生的高质量样本，重新变成更便宜的监督学习信号。
 

docs/en/chapter29_visual_generation/video-generation-modern.md

@@ -4,7 +4,7 @@
 
 This section takes a different perspective — the **industrial level**: how video generation models such as Seedance, LongCat-Video, Hailuo, Wan, and Kling were trained using RL in 2025–2026. These works represent the current state-of-the-art in video generation with RL.
 
-## 24.5.1 From Images to Video: New Challenges for RL
+## 24.5.1 From Images to Video and New Challenges of RL
 
 RL for image generation has matured ([DDPO](./visual-generation-dancegrpo), DPOK). However, video generation brings new challenges:
 
@@ -42,7 +42,7 @@ These challenges have slowed progress in video generation RL in 2024. The major
 - **DanceGRPO**: Applying the GRPO idea to diffusion (image + video)
 - **Seedance / LongCat**: Using RLHF-style training + engineering optimization
 
-## 24.5.2 DanceGRPO: GRPO for Diffusion
+## 24.5.2 DanceGRPO and GRPO for Diffusion
 
 [DanceGRPO](https://arxiv.org/abs/2505.07818) (ByteDance Seed, 2025.05) is a significant breakthrough in diffusion RL. Its core contribution is: **applying the GRPO idea directly to diffusion training**.
 
@@ -100,7 +100,7 @@ Byte Seed trained multiple video generation models using DanceGRPO:
 
 DanceGRPO has already become the default choice in industry for diffusion reinforcement learning — this aligns with GRPO's status in the LLM field.
 
-## 24.5.3 Seedance: ByteDance's Video Generation Flagship
+## 24.5.3 Seedance and ByteDance's Video Generation Flagship
 
 [Seedance](https://seed.bytedance.com/) (ByteDance, released in March 2025, upgraded to 1.0 Pro in October 2025) is one of the leading video generation models in China. It has ranked first multiple times on VBench (video generation benchmark).
 
@@ -189,7 +189,7 @@ VBench 2025.10 Ranking:
 
 Seedance is the state-of-the-art video generation model in China, surpassing Sora 2 and Veo 3.
 
-## 24.5.4 LongCat-Video: Efficient Long-Video Generation
+## 24.5.4 LongCat-Video and Efficient Long-Video Generation
 
 [LongCat-Video](https://arxiv.org/abs/2510.22200) (Meituan, 2025.10) is another important work — focused on **long-video generation**.
 
@@ -249,7 +249,7 @@ LongCat-Video achieves state-of-the-art results in long video generation:
 | Wan 2.5 Long      | 70%                         | 68%             |
 | **LongCat-Video** | **78%**                     | **75%**         |
 
-## 24.5.5 Hailuo: MiniMax Video Generation
+## 24.5.5 Hailuo and MiniMax Video Generation
 
 [Hailuo](https://hailuoai.video/) (MiniMax, released in September 2024, upgraded in July 2025, version 02) is another Chinese video generation SOTA.