近日，福建农林大学计算机与信息学院陈日清教授团队在IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022 （中国计算机学会推荐CCF A 类、人工智能领域国际顶级会议）上发表题为“MS2DG-Net: Progressive Correspondence Learning via Multi Sparse Semantic Dynamic Graph”的研究论文，根据稀疏语义相似性设计了一个基于多尺度稀疏语义动态图的网络来寻找高质量的特征匹配，简称MS2DG-Net。实验表明，本文所提出的 MS2DG-Net 在公开数据集的误匹配剔除和相机姿态估计任务等方面具有明显的优势。

图1 论文封面

精准特征匹配是在给定的初始特征匹配集合中寻找正确的特征匹配，为后续的计算机视觉与人工智能领域应用提供基础性支撑，如图像配准、三维重建、闭环检测、图像拼接、三维目标识别等，具有重要的现实意义。

受到现实生活中人类用肉眼进行图像匹配过程的启发，当人眼匹配两张图像时，通常关注给定图像中相似的部分或者内容，即语义相似性的部分，而非欧式距离上的远近关系。因此，本研究提出构建成对图像的稀疏语义动态图，寻找局部特征语义的相似性，在保持排列等变的情况下，捕获特征匹配之间的局部拓扑结构，进行信息聚类，提高网络匹配精度，如图2（b）所示。

对比图2（a）与图2（b）可知，尽管拱形门的柱子在欧式空间上的距离较远，但是它们在语义上是相似的，该研究根据稀疏语义相似性进行邻域的选择，得到更加精准的邻域，实现更加准确的信息融合。图3为本文所提出的基于多尺度稀疏语义动态图的图像匹配网络框架构。

(a) 基于欧式距离确定邻域

(b) 基于稀疏语义相似性确定邻域

图2 基于欧式距离与基于稀疏语义相似性构建邻域的比较说明。图（a）和（b）分别是基于欧氏距离和稀疏语义相似性选择的邻域。黄色、绿色和红色线段分别代表选定的特征匹配、内点和外点。

图3 基于多尺度稀疏语义动态图的网络框架图

福建农林大学是该论文唯一通讯作者单位，计算机科学与信息学院2019级硕士研究生代栾媛为论文的第一作者，杨长才副教授为通讯作者、魏丽芳副教授和陈日清教授为论文共同作者，同济大学刘翼章博士、闽江学院赖桃桃教授、武汉大学马佳义教授等也为本研究成果作出重要贡献。该研究得到了国家自然科学基金项目（62171130、62172197、61802064和61501120）、福建省自然科学基金项目（2019J01402和2020J01825）等资助。

CVPR是由IEEE举办的人工智能领域国际顶级会议。根据Google Scholar发布的2022年学术指标，CVPR的H5-index为389，位于总榜第4，仅次于Nature、NEJM、Science。

来源：福建农林大学

编辑：黄灵箫

审核：王晓锋