康乃尔大学和威斯康星大学麦迪逊分校的研究人员在可穿戴传感技术方面取得了潜在的突破,他们设计了一种腕戴式设备,可以连续地以3D方式跟踪整个人的手。
这款名为FingerTrak的手链可以使用三到四个微型,低分辨率的热像仪来读取手腕上的轮廓,并将人类手的许多位置(包括20个手指关节位置)感应并转换为3D。研究人员说,该设备可以用于手语翻译,虚拟现实,移动健康,人机交互等领域。
“这是我们团队的一项重大发现-通过观察您的手腕轮廓,该技术可以以敏锐的精度在手指所在的位置进行3D重建,”信息科学助理教授兼康奈尔大学新技术总监张成说。在其中开发了FingerTrak的科幻实验室。“这是第一个基于手腕轮廓来重建全手姿势的系统。”
过去的腕上摄像头被认为对于日常使用而言过于笨重,大多数都只能重建少数几个离散的手势。
FingerTrak的突破是轻巧的手链,可以自由移动。FingerTrak并未使用相机直接捕获手指的位置,而是大多数先前研究的重点,而是结合了热成像和机器学习技术来虚拟重建手。手镯的四个微型热像仪-每个都像豌豆一样大小-捕捉多个“剪影”图像以形成手的轮廓。
然后,深度神经网络将这些轮廓图像缝合在一起,并以3D形式重建虚拟手。通过这种方法,Zhang和他的研究人员即使在手握住物体时也能够捕获整个手部姿势。
尽管该技术具有广泛的用途,但张说,最有希望的是它在手语翻译中的潜在应用。
他说:“当前的手语翻译技术要求用户在环境中戴手套或戴相机,这两者都很麻烦。”“这确实可以将当前技术推向新领域。”
威斯康星大学麦迪逊医学院与公共卫生学院生物统计学和医学信息学助理教授Yin Li说,FingerTrak还可能对医疗保健应用产生影响,特别是在监视影响精细运动技能的疾病方面。 FingerTrak背后的软件。
李肇星说:“我们如何动动手和手指通常可以说明我们的健康状况。”“这样的设备可以用来更好地了解老年人在日常生活中如何使用双手,从而帮助发现帕金森氏症和老年痴呆症等疾病的早期征兆。”
“ FingerTrak:通过腕上的微型热像仪捕获的深度学习手部轮廓来进行连续3D手部姿势跟踪”已在互动,移动,可穿戴和普及技术的计算机协会论文集上发表。它还将在9月12日至16日举行的2020 ACM关于普及和普适计算的国际联合会议上进行介绍。