研究人员通过展示手术视频教机器人缝合

2020-06-23
关注
摘要 由Ajay Tanwani博士领导的加州大学伯克利分校(UC Berkeley)团队开发了一种半监督的AI深度学习系统,称为Motion2Vec。该系统旨在观看由实际医生进行的公开手术视频,在缝合时分解医生的动作,然后以很高的精度进行模拟。

对医务人员来说,将手术后的病人缝合在一起是一项至关重要而又单调的任务,通常要求他们重复相同的简单动作数百遍。最近在英特尔与加州大学伯克利分校之间的共同努力下,不久之后,外科医生可以将这项繁琐的工作分担给机器人,不过只限用于实现自动缝合。

图片来源于网络

由Ajay Tanwani博士领导的加州大学伯克利分校(UC Berkeley)团队开发了一种半监督的AI深度学习系统,称为Motion2Vec。该系统旨在观看由实际医生进行的公开手术视频,在缝合时分解医生的动作(插针、拔针和移交),然后以很高的精度进行模拟。 

Tanwani告诉Engadget:“与传统界面以静态方式学习或从[模仿]轨迹学习相比,从视觉观察中学习具有很大的吸引力,因为现有视频中提供了大量信息内容,” 对于机器人教学,一张图片显然胜过千言万语。

Ken Goldberg博士是加州大学伯克利分校的实验室负责人,也是Tanwani的团队这项研究的顾问。他补充说:“ YouTube每分钟获得500个小时的新资料。这是一个令人难以置信的数据库。任何人都可以观看这些视频中的任意一个并理解它,但是机器人目前无法做到-他们只是将其视为像素流。因此,这项工作的目标是尝试弄清这些像素。那就是看视频,对其进行分析,然后能够将视频分割成有意义的序列。”

为此,该团队利用暹罗网络来训练AI。Tanwani解释说,建立暹罗网络是为了从无监督或弱监督的数据中学习距离函数。他说:“这里的想法是,您想产生大量重组视频中的数据,并将其压缩为低维流形。暹罗网络用于学习该流形内的距离函数。” 

基本上,这些网络可以对两个输入之间的相似程度进行排序,这就是为什么它们经常用于图像识别任务,例如将某人的监控镜头与驾驶执照照片匹配。但是,在这种情况下,研究小组使用网络将机械手动作的视频输入与人类医生执行相同动作的现有视频进行匹配。目的是将机器人的性能提高到接近人类的水平。 

由于该系统依赖于半监督学习结构,因此该团队仅需要JIGSAWS数据库中的78个视频即可训练其AI以85.5%的分割准确的和平均0.94厘米的目标定位精度来执行任务。

这些技术要进入实际手术室尚需时日,但Tanwani相信,一旦实现,外科手术AI将像当今的半自动汽车上驾驶员辅助系统一样发挥作用。他们不会取代人类外科医生,而是通过接管低水平,重复性的任务来提高他们的表现。Motion2Vec系统不仅用于缝合。如果有适当的训练数据,AI最终可以承担许多职责,例如清创术(从伤口中挑出死肉和碎屑),但不要指望它执行你的下一个阑尾切除术。

Goldberg说:“我们还没有做到这一步,但是我们正在朝外科医生的能力迈进,外科医生将观察系统,指出他们想要一排缝合线的位置,传达出他们想要六个手缝合线的能力。然后,机器人将基本上开始这样做,外科医生将能够稍微放松一下,以便他们可以得到更多休息时间,并能够专注于手术中更复杂或更细微的部分。” 

Tanwani补充说:“我们相信,这将有助于外科医生有效地将时间集中在执行更复杂的任务上,并使用技术来协助他们处理日常工作。”

您觉得本篇内容如何
评分

相关产品

方舟 电子皮肤 机器人触觉传感

依托自主柔性传感技术平台,产品广泛应用于机器人、新能源汽车、消费电子、精准医疗等高端领域,市场覆盖持续拓展。与此同时,公司设有广东省博士工作站,深度参与《亚洲机器人传感白皮书》编制及多项国家标准制定,先后荣获广东省科学技术奖三等奖等多项重磅科技荣誉。

泰科机器人 DR系列 机器人本体

双臂协作机器人 • 双臂协同控制,人与机器人安全高效地并肩工作,没有障碍 • 模块化设计,快速拆装,维修更换快捷方便 • 手臂重量轻、尺寸小,紧凑型封装 • 卓越的运动控制碰撞检测,保障人员安全 • 精确的重复定位精度和路径精度

DYP 电应普科技 光伏清洁机器人纠偏传感器 商用服务机器人避障

本产品为专为光伏清洁机器人及商用服务机器人设计的超声波防跌落传感器。通过安装于机器人底部,实时测量传感器与光伏板表面的距离,当检测到距离大于设定安全阈值(X cm)时,自动触发停止指令,有效防止机器人跌落边缘。提供DYP-A02与DYP-A22两款常规型号,支持参数定制,广泛应用于光伏运维与智能机器人领域。

大族 Elfin系列协作机器人 机器人

上海菁特智能 Elfin系列协作机器人 机器人

大立科技 轮式智能巡检机器人DL-RC63 智能巡检机器人

变电站智能巡检机器人集 非制冷焦平面探测器、无轨化激光导航定位、红外测温、智能读表、图像识别 等核心技术于一体,对输变电设备进行全天候巡检、数据采集、视频监控、温湿度测量、气压监测等,提高输变电站内设备的安全运行程度在发生异常紧急情况时,智能巡检机器人可作为移动式监控平台,代替人工及时查明设备故障,降低人员的安全风险。

优恩智能 双臂机器人 机器人

智能机器人双臂灵巧操作平台,其基本结构由两个标准工业协作机械臂、一个标准机械 臂夹爪、一个标准工业 RGB-D 相机和控制器组成。

Movel AI Seirios FMS 机器人车队管理系统(调度管理) 机器人导航

Seirios FMS 机器人车队管理系统(调度管理) 产品特色 繁忙动态的宽广环境中,可能需要多个机器人来完成任务。使用Seirios车队管理系统(FMS),可以在一个平台中,同时查看和管理多个机器人。

XKCON祥控 XKCON-RTI-002 机器人

XKCON-RTI-002室内升降轨道式巡检机器人具备自动化、智能化的巡检能力,能够取代人工巡检,提升巡检效率与准确性。

力晟 LSF-TD55 机器人传感器

LSF-TD53-25Nm机器人关节扭矩传感器 关节扭矩传感器采用航空级铝合金材质,轻巧而强劲,可测量扭矩,为协作机器人赋予灵活、安全的精细操控力;赋能AGV底盘转向、医疗机械臂精准定位、高动态伺服系统、人形机器人及工业自动化产线高效可靠运行。

评论

您需要登录才可以回复|注册

提交评论

广告
广告

中国AGV网

这家伙很懒,什么描述也没留下

关注

点击进入下一篇

研究团队研发出类人型体感随动机器人

提取码
复制提取码
点击跳转至百度网盘