仪器仪表学报

作者：于 睿，马国梁，郭 健，许立松

单位：于 睿,1. 南京理工大学自动化学院,,马国梁,2. 南京理工大学能源与动力工程学院,,郭 健,1. 南京理工大学自动化学院,,许立松,1. 南京理工大学自动化学院,

关键词：深度图补全;多传感器数据融合;热成像;自监督学习;环境感知

基金：江苏省农业科技自主创新资金项目(CX(24)1023)、中央高校基本科研业务费专项(2024301002)资助

深度补全是一种利用稀疏深度数据生成高分辨率稠密深度图的环境感知技术。然而,现有深度补全算法在昏暗或低照度场景中预测深度图的准确度不足,在极端光照条件下的应用效果较差。针对该问题,提出一种基于自监督深度学习的热成像与激光雷达融合深度补全方法,用于训练网络模型在低光照或无光照的条件下生成像素级稠密的深度图。所提网络为编码器-解码器架构,以热图像和激光雷达的稀疏深度图作为编码器输入,在不同图像尺度上进行特征融合,解码器逐层对融合后的特征进行上采样和深度预测,生成稠密深度图。其次,设计了基于自注意力与跨注意力机制的多模态融合模块嵌入到编码器,通过自适应加权增强特征融合效果,提升预测稠密深度图的准确度。最后,构建了自监督学习框架,利用温度重建损失和稀疏深度损失进行自监督训练,无需额外的深度真值标注过程。在公开数据集上的实验验证表明,所提方法在不同光照条件下均能稳定生成稠密深度图。相较于现有深度补全基准方法,平均绝对误差在MS2和VIVID数据集上分别降低了44.49%和25.28%。在低光或无光环境下,通过融合热成像与激光雷达数据的互补优势,显著提高了深度预测的准确性和稳健性,为低光照场景下的环境感知提供了有效解决方案。

来源：2025年第1期

《仪器仪表学报》期刊编辑部

查看仪器仪表学报杂志2025年第1期