船只目标匹配关联任务类似于计算机视觉领域的行人或车辆再识别,面临着同类船只细微差异以及卫星角度和光谱差异等挑战。针对这些问题,研究团队设计了一种双分支深度学习框架,通过提取目标船只特征和搜索区域特征,并结合关键点检测,成功实现了精准的船只匹配。实验结果表明,该方法在新数据集上的匹配准确率达到了94.37%。
本研究提出的船舶目标匹配关联方法采用了创新的架构设计,如图1所示,整体架构由三个主要部分组成:双分支输入层、双分支特征提取与融合层,以及检测头模块。这一结构的设计,旨在通过并行处理两个图像——单一目标船舶图像和搜索区域图像来优化特征提取和信息融合,从而实现对目标船舶的精确搜索和识别。
图1 双分支共享卷积神经网络的总体架构
图2显示了本研究提出的方法与模板匹配算法中归一化互相关匹配结果的对比。模板匹配方法只有在目标清晰、没有相似目标干扰的情况下才能实现正确匹配。而本研究提出的方法在目标与搜索区域背景差异较大,目标相对较小等复杂条件下仍然可以实现正确匹配。
图2 不同方法的匹配结果示例
研究成果在国际期刊IEEE Geoscience and Remote Sensing Letters上发表,题为“Ship Target Search in Multisource Visible Remote Sensing Images Based on Two-Branch Deep Learning”。自然资源部第二海洋研究所海星博士后李修楠为文章的第一作者,南方海洋科学与工程广东省实验室(珠海)南海海岸带变化与物质迁移创新团队核心成员杨劲松研究员和自然资源部第二海洋研究所陈鹏正高级工程师为文章的通讯作者。合作者包括自然资源部第二海洋研究所郑罡研究员,国家卫星海洋应用中心安文韬研究员、浙江大学博士研究生罗丹,自然资源部第二海洋研究所硕士生陆霭莹。
本研究得到了国家重点研发计划、高分辨率对地观测系统项目和南方海洋科学与工程广东省实验室(珠海)创新团队项目等的支持。