Nature传感器新子刊首篇文章发布,中国青年学者联合完成
2024年,国际知名期刊《Nature》旗下专注于传感技术的全新子刊《Nature Sensors》正式发布创刊以来的首篇研究论文。该期刊自今年4月启动筹备,计划于2026年全面上线,致力于覆盖传感器技术的多个关键方向,包括生物传感、计算传感、工程设计与系统集成等。
本篇论文聚焦于可穿戴传感器与人机接口技术的融合创新,标题为《A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors》,由中国多位青年学者联合撰写。论文详细介绍了基于深度学习增强的可穿戴人机交互系统,其在复杂环境中依然能够实现高精度手势识别与任务控制。
文章全文可通过“阅读原文”链接查看。
当前,随着虚拟现实(VR)、智能机器人等前沿技术的快速发展,人机交互方式正从“静态识别”向“动态、实时感知”演进。然而,IMU(惯性测量单元)传感器在面对日常活动中的震动、摆臂或姿态变化时,往往会受到强噪声干扰,使得动作信号在复杂环境中难以准确捕捉,犹如“在海啸中寻找一滴水”。
传统方法,例如硬件滤波、信号处理算法或多传感器补偿策略,在某些极端场景下(如跑步、骑行、水下环境)效果有限,难以从大量噪声中提取出真实的手势特征,这也成为阻碍人机接口技术从实验室走向现实应用的关键挑战。
为突破这一瓶颈,来自美国加州大学圣地亚哥分校的徐升教授与Joseph Wang教授团队开发了一种基于深度学习的增强型可穿戴传感器系统。该系统结合IMU与EMG(肌电信号)多模态数据采集、卷积神经网络处理和可拉伸柔性材料设计,实现了在高噪声环境下(如跑步、震动、海浪干扰)的手势识别与机械臂控制。
可穿戴人机系统:高度集成与可拉伸设计
研究人员将整个识别系统压缩到一个仅1.8 × 4.5 cm²、厚度2 mm的贴肤设备中,内含六通道IMU模块、肌电采集单元、蓝牙通信芯片以及可拉伸锌/氧化银电池。整个装置采用多层堆叠结构,基底材料柔软,互连部分采用蛇形设计,确保设备在20%拉伸变形下仍能正常工作。
为确保设备在复杂环境中长时间运行,研究团队自主设计了一款耐弯折、可拉伸的电池,其在多次拉伸与折叠后仍可维持约25 mAh的容量。系统通过蓝牙模块实现20米范围内的稳定通信,30分钟连续使用后设备表面温度维持在27.7°C以下,具备良好的佩戴安全性。
构建真实噪声数据集,提升模型鲁棒性
为训练具备高抗噪能力的识别模型,研究团队收集了19种常见前臂动作的IMU数据,并引入大量真实环境噪声,如姿态变化带来的基线漂移、按摩枪震动、跑步时的手臂摆动等。
这些噪声在频率与幅度上均与手势信号高度重叠,构成IMU识别的最大挑战。同时,肌电信号用于识别抓握与松开动作,即使在振动或跑动过程中,其肌肉激活模式仍具有识别价值。
卷积神经网络与迁移学习:高效识别与快速适应
研究团队采用一维卷积神经网络(CNN)对多通道IMU信号进行融合处理。相较于全连接网络或循环网络,CNN在特征提取、精度和稳定性方面表现更优。
为实现快速个性化适配,系统引入参数级迁移学习机制。模型首先在大规模数据集上预训练,针对新用户仅需提供两个不同姿态下的动作样本即可完成参数调整,使识别准确率从51%跃升至92%。
为满足实时操作需求,系统引入滑动窗口机制,每隔0.25秒对1秒内的信号进行预测,从而实现连续动作的平稳识别。
复杂场景下的机械臂控制验证
研究人员在多种动态环境中对系统进行验证,包括跑步、高频振动以及姿态变换等条件。在这些情况下,传统IMU系统几乎无法提取有效信号,而该系统却能通过深度学习模型有效“过滤”噪声,输出稳定的手势分类。
在跑步机上边跑边操作的测试中,机械臂能够准确执行取液与倒入烧杯的动作,系统在噪声干扰下保持高度稳定性。无论用户处于振动、姿态变化或同时存在的极端环境中,系统均能实现连续动作识别与机械臂无缝操作。
海浪环境下依然保持高精度识别
为测试系统在极端环境下的表现,研究团队在模拟海浪环境中进行测试。模拟器再现了不同波长与波高的海浪扰动,导致IMU输出复杂且难以处理的“海浪噪声”。
然而,深度学习模型成功从“海浪 + 手势”的混合信号中提取出清晰动作特征,实现稳定识别。令人意外的是,海水环境下EMG信号的皮肤电极阻抗更低,反而提升了信号的稳定性。
这一成果为未来水下操作提供了可能——潜水员可通过手势操控机器人进行探测、采样与打捞等任务。
总结:面向真实场景的突破性解决方案
本研究通过系统级创新设计,成功解决了可穿戴动作识别在动态噪声环境下的稳定性难题。从柔性硬件集成、真实噪声数据集构建,到迁移学习驱动的卷积神经网络模型,系统在跑步、震动、姿态变化及海浪干扰下均表现出高鲁棒性。
未来,该技术有望在智能穿戴设备、软体机器人、VR手势控制、康复医疗及水下机器人操控等多个领域得到广泛应用。
本文部分内容参考自:
- 高分子科学前沿《Nature新子刊,创刊论文出炉,中国青年学者联手打造!》
- DeepTech深科技 《告别静态操控:新型AI可穿戴贴片,可在运动中精准识别手势控制机械臂》