仪器仪表学报

作者：吴海滨，左云逸，王爱丽，吕浩然，王敏慧

单位：吴海滨,哈尔滨理工大学黑龙江省激光光谱技术及应用重点实验室哈尔滨150080,,左云逸,哈尔滨理工大学黑龙江省激光光谱技术及应用重点实验室哈尔滨150080,,王爱丽,哈尔滨理工大学黑龙江省激光光谱技术及应用重点实验室哈尔滨150080,aili925@hrbust.edu.cn,吕浩然,哈尔滨理工大学黑龙江省激光光谱技术及应用重点实验室哈尔滨150080,,王敏慧,哈尔滨理工大学黑龙江省激光光谱技术及应用重点实验室哈尔滨150080,

关键词：高光谱图像;LiDAR数据;Transformer;卷积神经网络;多模态数据

基金：黑龙江省重点研发计划项目（JD2023SJ19）资助

在高光谱图像与LiDAR数据协同分类的研究领域中，尽管CNN和Transformer在图像处理和数据分析中分别展现出对局部特征和全局依赖关系的敏锐洞察力，但二者的协同机制尚未充分挖掘，跨模态特征互补潜力未被有效释放。故提出了一种CNN结合Transformer的高光谱图像和LiDAR数据的多模态遥感数据协同地物分类方法。首先，该模型通过主成分分析对高光谱图像进行降维处理以去除光谱的冗余信息，继而利用CNN分层捕获局部纹理特征，同时借助Transformer自注意力机制构建全局光谱-空间表征。然后通过双向特征交互机制，将Transformer输出的全局上下文信息注入CNN特征通道，同时将CNN通道提取的局部细节反馈至Transformer支路，经特征耦合单元实现跨尺度特征对齐，强化模型对高光谱图像全局结构与局部细节的联合提取能力。对于LiDAR数据，采用动态卷积级联模块有效捕获高程信息和上下文关系，最终通过跨模态特征融合模块实现双源数据特征的深度交互与融合，在双模态语义互补中提升复杂地物的分类精度。在Houston2013、Trento和Augsburg这3个公开数据集上的实验表明，该方法总体分类精度分别达到99.85%、99.68%和97.34%，平均准确率分别达到99.87%、99.34%和90.60%，较GLT、HCT等主流方法的分类精度有所提高，充分证明所提方法进行多模态数据协同分类的优势和有效性。

来源：2025年第8期

《仪器仪表学报》期刊编辑部

查看仪器仪表学报杂志2025年第8期