仪器仪表学报

作者：陈仁钧，费敏锐，杨傲雷

单位：陈仁钧,1. 上海大学机电工程与自动化学院,,费敏锐,1. 上海大学机电工程与自动化学院，2. 上海大学上海市电站自动化技术重点实验室,,杨傲雷,1. 上海大学机电工程与自动化学院，2. 上海大学上海市电站自动化技术重点实验室,

关键词：人机交互;指向手势;目标检测;位姿估计

基金：上海市自然科学基金(22ZR1424200)、国家自然科学基金(62203290)、111 引智基地项目(D18003)资助

针对人机共融环境中机器人与人之间的交互问题,提出了一种面向人机交互场景的手势指向估计方法,通过人体指向手势,以实现机器人对工作平面上指向目标点的信息交互。首先,基于RGB-D相机与VICON人体动作捕捉系统,构建时间同步的视觉指向手势位姿数据集,其中的每个样本包含人体指向手势的RGB-D图像和指向手势的位姿真值;其次,提出融合语义与几何信息的指向手势位姿估计多层次神经网络模型;然后,设计融合位置点误差ΔP和方向角度误差Δθ的射线近似损失函数,并基于构建的数据集,对指向手势位姿估计模型进行训练;最后,在实验室环境中进行了人机交互实验与模型验证。实验结果表明,在距离相机5m的范围内,指向手势检测的平均精度为98.4%,指向手势位姿的平均位置误差为34mm,平均角度误差为9.94°,进而实现工作平面上的手势指向目标点的平均误差为0.211m。

来源：2023年第3期

《仪器仪表学报》期刊编辑部

查看仪器仪表学报杂志2023年第3期