仪器仪表学报

作者：建中华，南 静，刘 鑫，代 伟

单位：建中华,1. 中国矿业大学人工智能研究院,,南 静,2. 中国矿业大学信息与控制工程学院,,刘 鑫,1. 中国矿业大学人工智能研究院,,代 伟,1. 中国矿业大学人工智能研究院，2. 中国矿业大学信息与控制工程学院,

关键词：人体行为识别;人体骨架;注意力机制;关键帧;时空特征

基金：国家自然科学基金面上项目(61973306)、江苏省优秀青年基金(BK20200086)、江苏省研究生科研与实践创新计划项目(KYCX22_2558)资助

针对人体行为的空间复杂性和时间差异性问题,提出了一种基于时空张量融合的人体骨架行为自适应识别方法。首先充分利用人体行为骨架序列的帧内空间关系和帧间时间关系,构建相邻帧时空特征张量;其次通过计算相邻帧时空特征张量的差异性获取关键相邻帧时空特征张量并组成行为时空特征张量;之后利用行为时空特征张量的空间特征差异和多尺度时间卷积构建行为时空特征张量自适应注意力机制,完成行为时空特征融合;最后,使用深度随机配置网络根据行为时空特征融合张量识别人体行为。使用NTURGB-D数据集进行实验仿真,识别准确率达到84.57%,并且设计相应的系统进行实际应用验证,结果表明本文所提方法是一种适合应对人体行为空间复杂性和时间差异性问题的人体行为识别方法。

来源：2023年第6期

《仪器仪表学报》期刊编辑部

查看仪器仪表学报杂志2023年第6期