update loss function.
This commit is contained in:
41
README.md
41
README.md
@@ -8,15 +8,15 @@
|
||||
|
||||
本项目实现了 **RoRD (Rotation-Robust Descriptors)** 模型,这是一种先进的局部特征匹配方法,专用于集成电路(IC)版图的识别。
|
||||
|
||||
IC 版图在匹配时可能出现多种方向(0°、90°、180°、270° 及其镜像),RoRD 模型通过其旋转鲁棒性设计,能够有效应对这一挑战。 项目采用自监督学习和随机旋转的数据增强策略,旨在解决 IC 版图识别中常见的数据稀缺性、几何多变性、动态扩展性和结构复杂性等问题。
|
||||
IC 版图在匹配时可能出现多种方向(0°、90°、180°、270° 及其镜像),RoRD 模型通过其**几何感知损失函数**和**曼哈顿结构优化**的设计,能够有效应对这一挑战。项目采用**几何结构学习**而非纹理学习的训练策略,专门针对 IC 版图的二值化、稀疏性、重复结构和曼哈顿几何特征进行了深度优化。
|
||||
|
||||
### ✨ 主要功能
|
||||
|
||||
* **模型实现**:基于 D2-Net 架构,使用 PyTorch 实现了适用于 IC 版图的 RoRD 模型。
|
||||
* **数据加载**:提供了自定义的 `ICLayoutDataset` 类,用于加载光栅化的 IC 版图图像。
|
||||
* **训练脚本**:通过随机旋转生成训练对,以自监督的方式训练模型,确保其旋转鲁棒性。
|
||||
* **评估脚本**:可在验证集上评估模型性能,计算精确率、召回率和 F1 分数。
|
||||
* **匹配工具**:使用训练好的模型进行模板匹配,支持多实例检测和匹配结果的可视化。
|
||||
* **模型实现**:基于 D2-Net 架构,使用 PyTorch 实现了适用于 IC 版图的 RoRD 模型,**专门针对几何结构学习优化**。
|
||||
* **数据加载**:提供了自定义的 `ICLayoutDataset` 类,用于加载光栅化的 IC 版图图像,支持**曼哈顿几何感知采样**。
|
||||
* **训练脚本**:通过**几何感知损失函数**训练模型,学习**几何结构描述子**而非纹理特征,确保对二值化、稀疏性、重复结构的鲁棒性。
|
||||
* **评估脚本**:可在验证集上评估模型性能,**专门针对IC版图特征**计算几何一致性指标。
|
||||
* **匹配工具**:使用训练好的模型进行**几何结构匹配**,有效区分重复图形并支持多实例检测。
|
||||
|
||||
## 🛠️ 安装
|
||||
|
||||
@@ -177,14 +177,33 @@ JSON 标注文件示例:
|
||||
}
|
||||
```
|
||||
|
||||
## 🧠 模型架构
|
||||
## 🧠 模型架构 - IC版图专用优化版
|
||||
|
||||
RoRD 模型基于 D2-Net 架构,并使用 VGG-16 作为其骨干网络。
|
||||
RoRD 模型基于 D2-Net 架构,使用 VGG-16 作为骨干网络,**专门针对IC版图的几何特征进行了深度优化**。
|
||||
|
||||
* **检测头**: 用于检测关键点,输出一个概率图。
|
||||
* **描述子头**: 生成 128 维的旋转鲁棒描述子,专门为 IC 版图的 8 个离散旋转方向进行了适配。
|
||||
### 网络结构创新
|
||||
* **检测头**: 用于检测**几何边界关键点**,输出二值化概率图,专门针对IC版图的黑白边界优化
|
||||
* **描述子头**: 生成 128 维的**几何结构描述子**,而非纹理描述子,具有以下特性:
|
||||
- **曼哈顿几何感知**: 专门针对水平和垂直结构优化
|
||||
- **重复结构区分**: 能有效区分相同图形的不同实例
|
||||
- **二值化鲁棒性**: 对光照变化完全不变
|
||||
- **稀疏特征优化**: 专注于真实几何结构而非噪声
|
||||
|
||||
模型通过自监督学习进行训练,利用 0° 到 360° 的随机旋转生成训练对,以同时优化关键点的检测重复性和描述子的相似性。
|
||||
### 核心创新 - 几何感知损失函数
|
||||
**专为IC版图特征设计**:
|
||||
- **曼哈顿一致性损失**: 确保90度旋转下的几何一致性
|
||||
- **稀疏性正则化**: 适应IC版图稀疏特征分布
|
||||
- **二值化特征距离**: 强化几何边界特征,弱化灰度变化
|
||||
- **几何感知困难负样本**: 基于结构相似性而非像素相似性选择负样本
|
||||
|
||||
### 训练策略 - 几何结构学习
|
||||
模型通过**几何结构学习**策略进行训练:
|
||||
- **曼哈顿变换生成训练对**: 利用90度旋转等曼哈顿变换
|
||||
- **几何感知采样**: 优先采样水平和垂直方向的边缘点
|
||||
- **结构一致性优化**: 学习几何结构描述子而非纹理特征
|
||||
- **重复结构鲁棒性**: 有效处理IC版图中的大量重复图形
|
||||
|
||||
**关键区别**: 传统方法学习纹理特征,我们的方法**学习几何结构特征**,完美适应IC版图的二值化、稀疏性、重复结构和曼哈顿几何特征。
|
||||
|
||||
## 📊 结果
|
||||
|
||||
|
||||
Reference in New Issue
Block a user