8.7 KiB
8.7 KiB
下一步工作计划 (NextStep)
最后更新: 2025-10-20
范围: 仅聚焦于 feature_work.md 的第二部分「模型架构 (Model Architecture)」的落地执行计划
上下文: 核心功能已完成，本文档将模型架构优化转化为可执行的工程计划，便于直接实施与验收。
参考来源：
docs/feature_work.md第二部分；更宏观的阶段规划见docs/todos/
🔴 模型架构优化（Feature Work 第二部分）
目标：在保证现有精度的前提下，提升特征提取效率与推理速度；为后续注意力机制与多尺度策略提供更强的特征基础。
总体验收标准（全局）
- 训练/验证流程在新骨干和注意力方案下均可跑通，无崩溃/NaN。
- 在代表性验证集上，最终指标（IoU/mAP）不低于当前 VGG-16 基线；若下降需给出改进措施或回滚建议。
- 推理时延或显存占用至少一种维度优于基线，或达到“相当 + 结构可扩展”的工程收益。
- 关键改动均通过配置开关控制，可随时回退。
2.1 实验更现代的骨干网络（Backbone）
优先级：🟠 中 | 预计工期：~1 周 | 产出：可切换的 backbone 实现 + 对照报告
设计要点（小合约）
- 输入：与现有
RoRD一致的图像张量 B×C×H×W。 - 输出：供检测头/描述子头使用的中高层特征张量；通道数因骨干不同而异（VGG:512、ResNet34:512、Eff-B0:1280）。
- 约束：不改变下游头部的接口形状（头部输入通道需根据骨干进行对齐适配）。
- 失败模式：通道不匹配/梯度不通/预训练权重未正确加载/收敛缓慢。
配置扩展（YAML）
在 configs/base_config.yaml 增加（或确认存在）：
model:
backbone:
name: "vgg16" # 可选：vgg16 | resnet34 | efficientnet_b0
pretrained: true
# 用于选择抽取的特征层（按不同骨干约定名称）
feature_layers:
vgg16: ["relu3_3", "relu4_3"]
resnet34: ["layer3", "layer4"]
efficientnet_b0: ["features_5", "features_7"]
代码改动建议
- 文件：
models/rord.py- 在
__init__中根据cfg.model.backbone.name动态构建骨干：- vgg16（现状保持）
- resnet34：从
torchvision.models.resnet34(weights=IMAGENET1K_V1)构建；保存layer3/layer4输出。 - efficientnet_b0：从
torchvision.models.efficientnet_b0(weights=IMAGENET1K_V1)构建；保存末两段features输出。
- 为不同骨干提供统一的“中间层特征导出”接口（注册 forward hook 或显式调用子模块）。
- 依据所选骨干的输出通道，调整检测头与描述子头的输入通道（如使用 1×1 conv 过渡层以解耦通道差异）。
- 保持现有前向签名与返回数据结构不变（训练/推理兼容）。
- 在
进展更新（2025-10-20）
- 已完成：在
models/rord.py集成多骨干选择（vgg16/resnet34/efficientnet_b0），并实现统一的中间层抽取函数_extract_c234（可后续重构为build_backbone/extract_features明确接口）。 - 已完成：FPN 通用化，基于 C2/C3/C4 构建 P2/P3/P4，按骨干返回正确的 stride。
- 已完成：单图前向 Smoke Test（三种骨干，单尺度与 FPN）均通过。
- 已完成：CPU 环境 A/B 基准（单尺度 vs FPN）见
docs/description/Performance_Benchmark.md。 - 待完成：GPU 环境基准（速度/显存）、基于真实数据的精度评估与收敛曲线对比。
落地步骤（Checklist）
- 在
models/rord.py增加/落地骨干构建与中间层抽取逻辑（当前通过_extract_c234实现）。 - 接入 ResNet-34：返回等价中高层特征（layer2/3/4，通道≈128/256/512）。
- 接入 EfficientNet-B0：返回
features[2]/[3]/[6]（约 24/40/192），FPN 以 1×1 横向连接对齐到fpn_out_channels。 - 头部适配：单尺度头使用骨干高层通道数；FPN 头统一使用
fpn_out_channels。 - 预训练权重：支持
pretrained=true加载；补充权重加载摘要打印（哪些层未命中）。 - 单图 smoke test：前向通过、无 NaN（三种骨干，单尺度与 FPN）。
评测与选择（A/B 实验）
- 在固定数据与超参下，比较 vgg16/resnet34/efficientnet_b0：
- 收敛速度（loss 曲线 0-5 epoch）
- 推理速度（ms / 2048×2048）与显存（GB）[CPU 初步结果已产出，GPU 待复测；见
docs/description/Performance_Benchmark.md] - 验证集 IoU/mAP（真实数据集待跑）
- 形成表格与可视化图，给出选择结论与原因（CPU 版初稿已在报告中给出观察）。
- 若新骨干在任一关键指标明显受损，则暂缓替换，仅保留为可切换实验选项。
验收标准（2.1）
- 三种骨干方案均可训练与推理（当前仅验证推理，训练与收敛待验证）；
- 最终入选骨干在 IoU/mAP 不低于 VGG 的前提下，带来显著的速度/显存优势之一；
- 切换完全配置化（无需改代码）。
风险与回滚（2.1）
- 通道不匹配导致维度错误 → 在进入头部前统一使用 1×1 conv 适配；
- 预训练权重与自定义层名不一致 → 显式映射并记录未加载层；
- 收敛变慢 → 暂时提高训练轮数、调学习率/BN 冻结策略；不达标即回滚
backbone.name=vgg16。
2.2 集成注意力机制（CBAM / SE-Net）
优先级：🟠 中 | 预计工期：~7–10 天 | 产出：注意力增强的 RoRD 变体 + 对照报告
模块选择与嵌入位置
- 方案 A：CBAM（通道注意 + 空间注意），插入至骨干高层与两类头部之前；
- 方案 B：SE-Net（通道注意），轻量但仅通道维，插入多个阶段以增强稳定性；
- 建议：先实现 CBAM，保留 SE 作为备选开关。
配置扩展（YAML）
model:
attention:
enabled: true
type: "cbam" # 可选：cbam | se | none
places: ["backbone_high", "det_head", "desc_head"]
# 可选超参：reduction、kernel_size 等
reduction: 16
spatial_kernel: 7
代码改动建议
- 文件：
models/rord.py- 实现
CBAM与SEBlock模块（或从可靠实现迁移），提供简洁 forward。 - 在
__init__中依据cfg.model.attention决定在何处插入：- backbone 高层输出后（增强高层语义的判别性）；
- 检测头、描述子头输入前（分别强化不同任务所需特征）。
- 注意保持张量尺寸不变；若引入残差结构，保证与原路径等价时可退化为恒等映射。
- 实现
落地步骤（Checklist）
- 实现
CBAM：通道注意（MLP/Avg+Max Pool）+ 空间注意（7×7 conv）。 - 实现
SEBlock：Squeeze（全局池化）+ Excitation（MLP, reduction）。 - 在
RoRD中用配置化开关插拔注意力，默认关闭。 - 在进入检测/描述子头前分别测试开启/关闭注意力的影响。
- 记录注意力图（可选）：导出中间注意图用于可视化对比。
训练与评估
- 以入选骨干为基线，分别开启
cbam与se进行对照； - 记录：训练损失、验证 IoU/mAP、推理时延/显存；
- 观察注意力图是否集中在关键几何（边角/交点/突变）；
- 若带来过拟合迹象（验证下降），尝试减弱注意力强度或减少插入位置。
验收标准（2.2）
- 模型在开启注意力后稳定训练，无数值异常；
- 指标不低于无注意力基线；若提升则量化收益；
- 配置可一键关闭以回退。
风险与回滚（2.2）
- 注意力导致过拟合或梯度不稳 → 降低 reduction、减少插入点、启用正则；
- 推理时延上升明显 → 对注意力路径进行轻量化（如仅通道注意或更小 kernel）。
工程与度量配套
实验记录（建议）
- 在 TensorBoard 中新增：
arch/backbone_name、arch/attention_type（Text/Scalar）；train/loss_total、eval/iou_metric、eval/map；- 推理指标：
infer/ms_per_image、infer/vram_gb。
对照报告模板（最小集）
- 数据集与配置摘要（随机种子、批大小、学习率、图像尺寸）。
- 三个骨干 + 注意力开关的结果表（速度/显存/IoU/mAP）。
- 结论与落地选择（保留/关闭/待进一步实验）。
排期与里程碑（建议）
- M1（1 天）：骨干切换基础设施与通道适配层；单图 smoke 测试。
- M2（2–3 天）：ResNet34 与 EfficientNet-B0 接入与跑通；
- M3（1–2 天）：A/B 评测与结论；
- M4（3–4 天）：注意力模块接入、训练对照、报告输出。
相关参考
- 源文档：
docs/feature_work.md第二部分（模型架构） - 阶段规划：
docs/todos/ - 配置系统：
configs/base_config.yaml