仪器仪表学报

作者：刘晋瑞，宋 婷，舒智林，韩建达，于宁波

单位：刘晋瑞,1. 南开大学人工智能学院，2. 南开大学天津市智能机器人技术重点实验室,,宋 婷,1. 南开大学人工智能学院，2. 南开大学天津市智能机器人技术重点实验室,,舒智林,1. 南开大学人工智能学院，2. 南开大学天津市智能机器人技术重点实验室,,韩建达,1. 南开大学人工智能学院，2. 南开大学天津市智能机器人技术重点实验室，3. 南开大学深圳研究院智能技术与机器人系统研究院,,于宁波,1. 南开大学人工智能学院，2. 南开大学天津市智能机器人技术重点实验室，3. 南开大学深圳研究院智能技术与机器人系统研究院,

关键词：EEG;fNIRS;时频特征融合;协同分类;运动解码

基金：国家自然科学基金（U1913208, 61873135,61720106012）、中央高校基本科研业务费项目资助

脑功能成像技术可以反映人体运动时的大脑生理变化,进而解码运动状态,但单模态信号反映的大脑生理信息存在局限性。为此,本文提出了一种基于EEG和fNIRS信号的时频特征融合与协同分类方法,利用脑神经电活动和血氧信息的互补特性提高运动状态解码精度。首先,提取EEG的小波包能量熵特征,使用双向长短期记忆网络(Bi-LSTM)提取fNIRS的时域特征,将两类特征组合得到包含时频域信息的融合特征,实现EEG和fNIRS不同层次特征的信息互补。然后,利用1DCNN提取融合特征深层次信息。最后,采用全连接神经网络进行任务分类。将所提方法应用于公开数据集,本文所提的EEG-fNIRS信号协同分类方法准确率为95.31%,较单模态分类高7.81%~9.60%。结果表明,该方法充分融合了两互补信号的时频域信息,提高了对左右手握力运动的分类准确率。

来源：2022年第7期

《仪器仪表学报》期刊编辑部

查看仪器仪表学报杂志2022年第7期