之间网

康奈尔大学的研究人员创造了一种可以跟踪面部表情的耳机

行业资讯
导读 康奈尔大学的研究人员开发了一种耳机系统,即使戴着口罩,也可以跟踪佩戴者的面部表情。C-Face可以监视脸颊轮廓并将佩戴者的表情转换成表情

康奈尔大学的研究人员开发了一种耳机系统,即使戴着口罩,也可以跟踪佩戴者的面部表情。C-Face可以监视脸颊轮廓并将佩戴者的表情转换成表情符号。例如,这可以使人们在通话时表达自己的情绪而不必打开网络摄像头。

康奈尔大学SciFi实验室主任,C-Face论文的高级作者成章在一份声明中说:“该设备比现有的任何耳挂式可穿戴技术都更简单,更引人注目且功能更强大。”“在以前的旨在识别面部表情的可穿戴技术中,大多数解决方案都需要在面部上安装传感器,即使使用了如此多的仪器,它们也只能识别有限的一组离散面部表情。”

耳机使用位于每个耳朵下方的两个RGB摄像头。当佩戴者的面部肌肉移动时,它们可以记录脸颊轮廓的变化。

使用计算机视觉和深度学习模型重建图像后,卷积神经网络将分析2D图像。该技术可以将这些特征转换为42个面部特征点,这些特征点代表佩戴者的嘴,眼和眉毛的位置和形状。

C-Face可以将这些表情转换为八个表情符号,包括代表中性或愤怒面孔的表情。系统还可以使用面部提示来控制音乐应用程序上的播放选项。其他可能的用途包括在游戏中使用化身或其他虚拟设置来表达人的实际情感。教师也可以跟踪远程课堂上学生的参与程度。

由于COVID-19的影响,研究人员只能在9名参与者的情况下测试C-Face。尽管如此,表情符号识别的准确度仍超过88%,面部提示的准确度超过85%。研究人员发现耳机的电池容量限制了该系统。因此,他们计划开发功耗较低的传感技术。

标签: