AI_Detection

这是一份关于 AI 局部伪造检测与定位系统 的核心技术文档，涵盖了从数据构建到模型训练与测试的全流程。

---

AI 图像局部伪造检测与分割系统 (Mask-SwinSeg)

1. 核心任务目标

识别图像中的局部修改区域。系统支持两种复杂的伪造场景：

• AI on Real (AI→Real): 在真实背景上合成 AI 生成的人物。
• Real on Fake (Real→AI): 在 AI 生成的背景上叠加真实的人物。

2. 数据流水线 (mask_data_construction.ipynb)

• 语义转换逻辑：
  • 将原始“人物/背景”掩码统一转换为“真/假”掩码。
  • 在 Real on Fake 模式下，对原始掩码取反（使 AI 背景标记为 1）。
• 数据集规范：
  • 划分比例：Train 70% / Val 10% / Test 20%。
  • 格式：图像存为 .png，掩码存为高精度 .npy 数组。
  • 命名：文件名包含 mode 和 type_id，确保数据来源可追溯。

3. 模型架构 (mask_train_model.py)

3.1 骨干与输入

• 4-Channel Input: 输入由 RGB (3ch) + DCT 频域特征 (1ch) 组成。利用离散余弦变换捕捉 AI 生成痕迹在频域的异常。
• Swin-Transformer Tiny: 采用 Swin-T 作为特征提取器，通过层级化注意力机制获取多尺度信息。

3.2 解码器与损失函数

• Decoder: 由连续的卷积层与双线性插值上采样组成，将特征图恢复至 $224 \times 224$ 的像素级预测图。
• 复合损失函数 (SegLoss)：
  • Weighted BCE: 针对样本不平衡进行加权。
  • Dice Loss: 关注预测区域与真值区域的重叠度，有效应对小面积伪造。

4. 训练与评估监控

• 1:1 平衡采样：训练时对两种任务进行等量采样，防止模型偏向某种特定的伪造类型。
• 多维度指标：
  • Mean IoU: 全局交并比。
  • Task-specific IoU: 独立统计 AI→Real 和 Real→AI 的性能，监控模型在不同合成逻辑下的健壮性。
• 可视化监控：周期性生成 Heatmap（热力图）和 Overlay（覆盖图），直观评估模型对伪造边缘的定位精度。

5. 测试与推理 (mask_test_model.py)

• 独立测试：在未见过的测试集上评估。
• 结果输出：打印各任务的 IoU 评分，并保存 10 组对比图（原图、GT、热力图、二值化预测、合成效果图）。

---

指标参考表

任务类型	核心关注点	理想状态
AI → Real	人像边缘的融合痕迹	高 IoU，边缘定位准
Real → AI	背景的生成指纹	全局检测，不误判真人
Mean IoU	综合定位能力	> 0.70 (视数据集难度而定)