英伟达研究人员开发出以假乱真的人类面部生成器

下一篇文章

新型欺诈邮件席卷美国:不给比特币就炸楼

机器学习模型已经变得非常擅长生成逼真的人脸,逼真到我可能永远不会再相信一个机器或人类是真实的。这种由英伟达(Nvidia)研究人员开发的新方法可以分离面部的细节层次,并对它们进行单独调整,以此实现超越其他方法的效果。最终生成的图像非常非常逼真。

研究人员的 论文发表在预印本网站 Arxiv 上,其中描述了一种生成和混合图像(特别是人脸)的新架构,可以“带来更好的插值特性,而且也能更好地解析变化的潜在因素”。

这基本上意味着该系统能够更好地意识到图像之间有意义的变化,并且在各种尺度上都能进行引导。举例来说,研究人员的 旧系统 可能生成两张“不同”的面孔,但除了一个人的耳朵被擦除以及衬衫颜色不同之外,它们基本上是一样的。那不是真正的不同,但系统并不知道无需重点关注图像的这些组成部分。

新系统的灵感源自所谓的风格转移,也就是对图像(比如说一张画)的重要风格特征进行提取,并应用到另一张图像的创作当中,如果一切顺利的话,最终得到的图像应该跟原来的拥有类似外观。就生成面孔而言,这里的“风格”并不是指笔触或颜色分布,而是图像的构成(居中,靠左或靠右,诸如此类)以及脸部的生理特点(肤色、雀斑以及毛发)。

这些风格特征或大或小,尺度各异——在非常小的时候,它可能是面部的单个特征;在中间的时候,它可能是镜头的构成;在最大尺度上,它就是图像整体色调之类的东西。让系统对所有这些特征进行调整,整张图像就会发生变化;与此同时,仅仅调整一部分可能只会改变一个人的发色,或者是雀斑或面部毛发的分布。

在最上面的图像中,我们可以看到面孔是如何发生彻底变化的,但“来源”和“风格”的明显标记仍然被保留下来,比如最底下一行的蓝色衬衫。在其他情形中,衣服是用整块布料生成的,就比如中心位置那个小孩貌似穿着和服一样。它是从哪儿来的呢?请注意,所有这些都是完全可变的,并不是 A+B=C,而是取决于设置选项的调整方式,A 和 B 的所有因素都存在或都不存在。

这些人脸都不是来自真实的人类,但如果你说它们是某个人设置的个人头像,我丝毫不会起疑。面部生成器现在已经能够不断地生成外观完全正常的人类图像,想想还是有点可怕。下面是更多的例子:

它的效果还不完美,但的确有效。而且,能够生成的不仅仅是人类,汽车、猫和风景,这些事物或多或少都符合相同的范式,即拥有可以分离并进行单独再现的小、中、大风格特征。对我个人而言,一个能够生成无限数量喵星人的系统似乎更加有趣。

此外,这些研究人员还发布了一个新的面部数据集:70,000 张(经过许可)从 Flickr 采集的面部图像,全都经过对齐和剪裁。他们使用亚马逊的众包服务 Mechanical Turk 清除掉了雕像、绘画和其他异常值。鉴于此类项目使用的标准数据集主要是明星走红毯的照片,这应该能够提供拥有更多变化的面部数据集来开展研究。该数据集很快将在 这里 开放给大家下载。

图片来源:英伟达

翻译:王灿均(@何无鱼

These face-generating systems are getting rather too creepily good for my liking

IMAGE BY Nvidia