骨骼—角度—曲率多模态融合的遮挡场景手势识别
王 琪,崔荣一,赵亚慧
(1. 长春金融高等专科学校信息技术学院,吉林长春130124;2. 延边大学工学院,吉林延吉133002)
2026-07-16
针对手势识别在单目视觉下面临遮挡干扰与精度不足的问题,提出一种融合二维骨骼关键点、手关节角度与手指曲率多模态数据的手势识别方法。为实现数据融合,构建了基于弯曲传感器数据手套与单目相机的采集系统,收集了7 名受试者手势动作(包含遮挡场景)的数据集。通过提取手部关键点并计算关节角度,将骨骼、关节角度与曲率信息拼接为多模态输入,进而利用卷积神经网络—双向长短期记忆(CNNBiLSTM)混合网络分别学习空间与时间特征。实验结果表明,所提出的多模态融合方法相比仅使用骨骼信息,识别准确率从68 34 %显著提升至84 13 % ,证明融合手指曲率与关节角度能有效克服遮挡问题,提高手势识别的鲁棒性与准确性。
被引用: 34次
年份: 2026年
下载文档 2.00元
引用
分享
来源期刊
核心点推荐
  • 手势识别;多模态融合;传感器;遮挡场景;数据手套