仪器仪表学报

作者：李学钊，王伟，薛冰

单位：李学钊,哈尔滨工程大学智能科学与工程学院哈尔滨150000,1018063997@qq.com,王伟,哈尔滨工程大学智能科学与工程学院哈尔滨150000,,薛冰,哈尔滨工程大学智能科学与工程学院哈尔滨150000,xuebing@hrbeu.edu.cn,

关键词：目标检测;双模态;特征融合;梯度算子;注意力机制

基金：江淮前沿技术协同创新中心追梦基金课题（2023ZM01Z025）项目资助

红外与可见光图像具有很好的互补特性，可以利用这2种模态图像的融合来适应自动驾驶等领域对于目标检测高精度和高鲁棒性的要求。现有多模态目标检测算法往往模型庞大，推理耗时长，无法在边缘设备上部署，而采用直接融合等方法又无法充分发挥不同模态的优势，因此提出了一种基于梯度算子和注意力机制的融合目标检测算法。引入梯度算子设计定制化卷积来捕获图像纹理；红外支路引入坐标注意力发挥其目标定位优势；引入权重生成网络对2个模态的特征进行自适应加权融合。算法结构模块化，轻量化，适合部署在边缘设备上。在数据集上实验，得到mAP@0.50和mAP@0.5∶0.95指标值比可见光单模态检测提升了6.3%和7.2%，比红外提升了11.3%和9.8%。推理帧率可达22.7，满足实时性要求。

来源：2024年第11期

《仪器仪表学报》期刊编辑部

查看仪器仪表学报杂志2024年第11期