现有脸部识别系统仍难以准确识别超过百万的数据量

下一篇文章

美国支付应用 Circle 融资 6000 万美元,进军中国市场

每当经过无处不在的监控摄像头时,我们总会担心自己的一举一动都会被这些能够准确识别人脸的设备监视——不过 一项最新的研究表明 ,即使是目前最先进的一些脸部识别算法,它们在面对过百万脸部数据的时候也会力不从心。

为了比较现有公开脸部识别算法的准确度,华盛顿大学在去年年底开展了一个名为“MegaFace Challenge”的公开竞赛。这个项目旨在研究当数据库规模提升数个量级时,现有的脸部识别系统能否维持可靠的准确率。。

虽然许多现有脸部识别系统都经过了数百万甚至上亿张照片的学习,但是它们的实际测试通常都是在“Labeled Faces in the Wild”之类的人脸数据库进行的,其中只有大约 13000 张合适的图像。但是在现实情况下,脸部识别系统需要应对的图像数量将远远不止于此。

“我们是率先提出脸部识别算法应当在‘全球规模’下进行测试的团队。”该研究的第一作者伊拉·柯梅尔曼切尔-施里泽曼(Ira Kemelmacher-Shlizerman)在邮件中向 TechCrunch 表示,“我想很多人都会认同这种方式的必要性。我们要解决的主要问题是建立一个公共数据组和基准数据库(让不同的算法在相同的数据下比较)。基准数据库的建立通常需要大量的工作,但是它将会为这个研究领域带来很大的帮助。”

megaface_results

该项目的研究人员先从现有的已标记人脸图像入手——一组数据包括来自不同领域的名人,另一组数据则由年龄跨度较大的人群组成。他们还在这些数据组中加入了一些“干扰项”——来自 Flickr 的公共授权照片。

在测试中,他们先从 10 个干扰项开始,然后逐渐将干扰项的数量增加到 100 万个——相当于在一个不断扩大的海洋中捞针。

其中有部分算法取得了相当亮眼的测试结果:在年龄对照数据组中, 谷歌的 FaceNet 的表现最佳,并远远抛离了其他对手,它和来自俄罗斯的 N-TechLab 在名人数据组中并列第一。(来自中国深圳的 SIAT MMLab 也有非常不错的表现。)

可惜 Facebook 的 DeepFace 没有参与此次测试,否则它应该会是一个有力竞争者。由于此次测试是自愿参与的,而且 Facebook 没有对外推出自己的脸部识别系统,因此 MegaFace 无法测试它的性能。

在不断加入干扰项之后,两组数据的领先算法在识别效率上没有受到太大的影响,但是识别准确率却出现了持续的下降。当干扰项超过 10000 个之后,谷歌在 FaceNet 论文中标榜的超高准确率已经难以实现,而当干扰项达到 100 万的量级之后,尽管 FaceNet 的表现仍然突出,但是它的准确率已经不足以投入实际应用了。

话虽如此,能够在 100 万个干扰项中达到四分之三的准确率已经非常了不起了——但是这个准确率将很难作为法律证据,也无法应用于安全产品。看来我们还不用太担心自己会被国家全面监控。

这项研究的成果将在下周举行于拉斯维加斯的计算机视觉与模式识别大会(Conference on ComputerVision and Pattern Recognition)上发表。

翻译:关嘉伟(@consideRay

Facial recognition systems stumble when confronted with million-face database