仪器仪表学报

作者：吕相谊，赵东辉，丁嘉辉，杨俊友，王硕玉

单位：吕相谊,1. 沈阳工业大学电气工程学院,,赵东辉,1. 沈阳工业大学电气工程学院,,丁嘉辉,1. 沈阳工业大学电气工程学院,,杨俊友,1. 沈阳工业大学电气工程学院,,王硕玉,2. 日本高知工科大学智能机械电子学院,

关键词：辅助喂食;全过程意图识别;多模态交互框架;安全性与灵活性

基金：国家自然科学基金项目( 92248304)、辽宁省人工智能重点研发计划项目( 2023JH26 / 10200018)、辽宁省教育厅基本科研项目(LJ212410142073)资助

为提高无法自主进食的弱机能人群面对被喂食过程中的安全性与灵活性,提出一种面向辅助喂食行为的多模态安全人机交互框架及其全过程意图识别算法。首先,结合用户特征及安全性与灵活性需求,提出一种结合视、触、力、位与语言融合的多模态人机交互框架并构建辅助喂食系统。其次,针对进食全过程包括对进食意图、菜品选择意图、动态喂食点估计与递送位姿计算、咀嚼意图等,提出一种基于视觉为主导的喂食意图全过程识别方法。选取有效刻画进食过程面部动态变化的特征点并设计融合口部纵横比与下颌纵横比识别算法,通过视线矢量分析用户菜品选择意图并基于面部实时位姿设计动态喂食点,从而形成全过程动态意图准确识别。同时,在辅助喂食虚拟映射系统中,结合大语言模型对交互全过程中的模糊意图、临时变更意图进行提问,形成反馈机制进而提升交互安全性。最终通过仿真与综合性实验验证提出的方法,通过多模态交互框架可以有效提升辅助喂食过程的灵活性,同时结合大语言模型形成模糊意图与变更意图有效反馈,最终提升交互过程的安全性,该方法为弱机能人群的日常生活辅助喂食行为提供了新型护理方法。

来源：2025年第1期

《仪器仪表学报》期刊编辑部

查看仪器仪表学报杂志2025年第1期