仪器仪表学报

作者：金宇锋，陶重犇

单位：金宇锋,1. 苏州科技大学电子与信息工程学院,,陶重犇,1. 苏州科技大学电子与信息工程学院，2. 清华大学汽车研究院,

关键词：3D目标检测;Transformer;深度补全;多模态融合;自动驾驶

基金：国家自然科学基金(62372317)、中国博士后科学基金(2021M691848)、苏州市科技项目基金(SYG202142)资助

针对当前3D目标检测算法将不同模态数据融合时会产生错位现象,从而破坏数据之间的关联性并造成数据损失的问题,提出了一种基于Transformer的融合信息增强3D目标检测算法。首先设计了Transformer双域融合特征区域建议模块,利用变形注意力机制,将提取到的雷达点云特征和图像特征进行双域特征融合,用于生成3D预选框;其次,通过设计的深度补全机制的特征信息增强模块,补全密集的深度和特征语义信息来完成框的细化;最后,设计了多模态特征交叉注意力模块,采用动态交叉注意力机制来获得不同模态间的相关性,从而将特征信息有效对齐融合。在Kitti、Nuscences和Waymo数据集上的实验结果证明了该算法的有效性和通用性。大量的消融实验证明了该算法各个模块的有效性。在实车平台上的实验结果表明,该算法在复杂的实际环境中具有优秀的鲁棒性。

来源：2023年第12期

《仪器仪表学报》期刊编辑部

查看仪器仪表学报杂志2023年第12期