杜克大学的研究人员开发了一种AI工具,可以将比以往更精细的细节转化为令人难以置信的令人信服的计算机生成人像,从而使人的面孔变得模糊,无法识别。
以前的方法可以将一张脸部图像缩放到原始分辨率的八倍。但是Duke团队想出了一种方法,可以拍摄少量像素并创建分辨率高达64倍的逼真的面部,“想象”出细腻的线条,睫毛和胡茬等功能,这是第一时间所没有的。地点。
领导该团队的杜克大学计算机科学家辛西娅·鲁丁(Cynthia Rudin)说:“从来没有像现在这样拥有如此精细的细节才能创建超分辨率的图像。”
研究人员说,该系统不能用于识别人员:它不会将来自安全摄像机的散焦,无法识别的照片变成真实人物的水晶般清晰的图像。相反,它能够生成不存在但看起来真实的新面孔。
虽然研究人员将面部表情作为概念证明,但理论上该技术可以拍摄几乎所有物体的低分辨率照片,并创建清晰逼真的图像,其应用范围涵盖医学,显微镜,天文学和卫星图像。作者Sachit Menon '20,他刚从杜克大学获得数学和计算机科学双学位。
研究人员将在下周于6月14日至6月19日举行的2020年计算机视觉与模式识别(CVPR)会议上介绍他们的方法,称为PULSE。
传统方法采用低分辨率图像,并通过尝试使其平均与计算机之前看到的高分辨率图像中的相应像素相匹配,来“猜测”需要哪些额外像素。这种平均的结果是,头发和皮肤中可能无法从一个像素到下一个像素完美对齐的纹理区域最终看起来模糊而模糊。
公爵队想出了另一种方法。该系统不会搜索低分辨率的图像并慢慢添加新的细节,而是搜索AI生成的高分辨率人脸示例,在缩小到相同大小时搜索看起来尽可能像输入图像的人脸。
该团队在机器学习中使用了一种称为“生成对抗网络”的工具,即GAN,这是对同一张照片数据集进行训练的两个神经网络。一个网络提供了AI创建的人脸,可以模仿训练过的人脸,而另一个网络则可以获取此输出,并确定它是否足以令人信服以至于被误认为是真实的东西。第一个网络的经验会越来越好,直到第二个网络无法分辨出差异。
Rudin说,PULSE可以从其他方法无法做到的嘈杂,低质量的输入中创建逼真的图像。从一张面部的单一模糊图像中,它可以吐出任何数量的难以置信的逼真可能性,每种可能性看起来都像一个不同的人。
甚至是杜克大学数学专业的合著者Alex Damian '20说,即使是给人眼与嘴巴几乎无法辨认的像素化照片,“我们的算法仍然可以用它来做一些事情,而这是传统方法无法做到的。”
该系统可以在几秒钟内将一张16x16像素的面部图像转换为1024 x 1024像素,增加了超过一百万的像素,类似于HD分辨率。在低分辨率照片中无法察觉的细节,例如毛孔,皱纹和发束,在计算机生成的版本中变得清晰明了。
研究人员要求40个人对通过PULSE和其他五种缩放方法生成的1,440张图像进行评分(以1到5的比例),PULSE的效果最佳,其得分几乎与实际人的高质量照片一样高。
查看结果并在http://pulse.cs.duke.edu/上载自己的图像。
这项研究得到了北卡罗来纳州洛德基金会和杜克大学计算机科学系的支持。