100 lines
2.9 KiB
Markdown
100 lines
2.9 KiB
Markdown
|
# RoRD 训练策略分析与改进
|
|||
|
|
|
|||
|
|
## 原始问题分析
|
|||
|
|
|
|||
|
|
### 1. 技术错误
|
|||
|
|
- **PIL.Image.LANCZOS 错误**: 使用了已弃用的 `Image.LANCZOS`，应改为 `Image.Resampling.LANCZOS`
|
|||
|
|
- **模型架构不匹配**: 检测头和描述子头使用了不同尺寸的特征图，导致训练不稳定
|
|||
|
|
|
|||
|
|
### 2. 训练策略问题
|
|||
|
|
|
|||
|
|
#### 2.1 损失函数设计
|
|||
|
|
- **检测损失**: 使用 MSE 损失不适合二分类问题，应使用 BCE 损失
|
|||
|
|
- **描述子损失**: Triplet Loss 采样策略不够有效，随机采样产生大量简单负样本
|
|||
|
|
|
|||
|
|
#### 2.2 数据增强策略
|
|||
|
|
- **尺度抖动范围过大**: `(0.7, 1.5)` 可能导致训练不稳定
|
|||
|
|
- **几何变换过于简单**: 只考虑8个离散方向，缺乏连续性
|
|||
|
|
- **缺少其他增强**: 没有亮度、对比度、噪声等增强
|
|||
|
|
|
|||
|
|
#### 2.3 训练配置
|
|||
|
|
- **批次大小过小**: 只有4，对于现代GPU效率低
|
|||
|
|
- **学习率可能过高**: 1e-4 可能导致训练不稳定
|
|||
|
|
- **缺少验证机制**: 没有验证集和早停
|
|||
|
|
- **缺少监控**: 没有详细的训练日志和损失分解
|
|||
|
|
|
|||
|
|
## 改进方案
|
|||
|
|
|
|||
|
|
### 1. 技术修复
|
|||
|
|
✅ **已修复**: PIL.Image.LANCZOS → Image.Resampling.LANCZOS
|
|||
|
|
✅ **已修复**: 统一检测头和描述子头的特征图尺寸
|
|||
|
|
|
|||
|
|
### 2. 损失函数改进
|
|||
|
|
✅ **检测损失**:
|
|||
|
|
- 使用 BCE 损失替代 MSE
|
|||
|
|
- 添加平滑 L1 损失作为辅助
|
|||
|
|
|
|||
|
|
✅ **描述子损失**:
|
|||
|
|
- 增加采样点数量 (100 → 200)
|
|||
|
|
- 使用网格采样替代随机采样
|
|||
|
|
- 实现困难负样本挖掘
|
|||
|
|
|
|||
|
|
### 3. 数据增强优化
|
|||
|
|
✅ **尺度抖动**: 缩小范围到 `(0.8, 1.2)`
|
|||
|
|
✅ **额外增强**:
|
|||
|
|
- 亮度调整 (0.8-1.2倍)
|
|||
|
|
- 对比度调整 (0.8-1.2倍)
|
|||
|
|
- 高斯噪声 (σ=5)
|
|||
|
|
|
|||
|
|
### 4. 训练配置优化
|
|||
|
|
✅ **批次大小**: 4 → 8
|
|||
|
|
✅ **学习率**: 1e-4 → 5e-5
|
|||
|
|
✅ **训练轮数**: 20 → 50
|
|||
|
|
✅ **添加权重衰减**: 1e-4
|
|||
|
|
|
|||
|
|
### 5. 训练流程改进
|
|||
|
|
✅ **验证集**: 80/20 分割
|
|||
|
|
✅ **学习率调度**: ReduceLROnPlateau
|
|||
|
|
✅ **早停机制**: 10个epoch无改善则停止
|
|||
|
|
✅ **梯度裁剪**: max_norm=1.0
|
|||
|
|
✅ **详细日志**: 训练和验证损失分解
|
|||
|
|
|
|||
|
|
## 预期效果
|
|||
|
|
|
|||
|
|
### 1. 训练稳定性
|
|||
|
|
- 更稳定的损失下降曲线
|
|||
|
|
- 减少过拟合风险
|
|||
|
|
- 更好的泛化能力
|
|||
|
|
|
|||
|
|
### 2. 模型性能
|
|||
|
|
- 更准确的检测结果
|
|||
|
|
- 更鲁棒的描述子
|
|||
|
|
- 更好的几何不变性
|
|||
|
|
|
|||
|
|
### 3. 训练效率
|
|||
|
|
- 更快的收敛速度
|
|||
|
|
- 更好的资源利用率
|
|||
|
|
- 更完善的监控机制
|
|||
|
|
|
|||
|
|
## 使用建议
|
|||
|
|
|
|||
|
|
### 1. 训练前准备
|
|||
|
|
```bash
|
|||
|
|
# 确保数据路径正确
|
|||
|
|
python train.py --data_dir /path/to/layouts --save_dir /path/to/save
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 2. 监控训练
|
|||
|
|
- 查看日志文件了解详细训练过程
|
|||
|
|
- 关注验证损失变化趋势
|
|||
|
|
- 监控学习率自动调整
|
|||
|
|
|
|||
|
|
### 3. 模型选择
|
|||
|
|
- 使用 `rord_model_best.pth` 作为最终模型
|
|||
|
|
- 该模型在验证集上表现最佳
|
|||
|
|
|
|||
|
|
### 4. 进一步优化建议
|
|||
|
|
- 考虑使用预训练权重初始化
|
|||
|
|
- 实验不同的数据增强组合
|
|||
|
|
- 尝试其他损失函数权重平衡
|
|||
|
|
- 考虑使用混合精度训练加速
|