麻省理工研究人员开发出可预测人的图片记忆的算法

下一篇文章

Perfecto:一个正规自行车的交易市场

麻省理工学院计算机科学和人工智能实验室 (CSAIL) 的研究人员发明了一种算法,他们声称这种算法能够预测一张图片被记忆的程度,精确度几乎和人类的一样——也就是说,他们的技术可以预测一个人记住或者忘记一张特定照片的可能性。

据研究者称,该算法的表现要比现有的算法高出 30%,与人类平均水平相比只差几个百分点。

该研究团队 在网上 放了一个该算法工具的演示版,你可以上传你的自拍照到这个工具中,然后你会得到该图的记忆分数,热度图则会显示记忆程度不同的区域。他们还发表了一篇关于这个研究论文,你可以 在这里找到

这里有一些我通过他们的 MemNet 算法跑出来的照片图例,这些图都被打了分,热度图则分析了最难忘和最易忘的图片区域。

考虑到照片和图片分享就是社交网络的现金流,该算法的潜在应用的确是非常广泛。任何能够帮助人们加深对视觉信息处理方式的理解,更好地了解信息对记忆的影响的事物都大有用处。

该研究团队表示,他们计划在未来发布一款应用,允许用户调整图像来提升图片的影响力。因此该研究未来可用于加强图片滤镜功能,滤镜的作用将不再只是美化人脸,让人们更上镜,而是有可能通过调整一些元素,让照片更加令人难忘。

除了帮助人们给自己的照片增加持久印象,该团队还设想利用该算法来加强广告/营销内容,改善教学资源,甚至是助力与健康有关的应用,那些旨在改善人们的记忆能力的应用,或者是用作一种诊断错误记忆的方法,也可用于诊断特定的医疗问题。

MemNet 算法是通过深度学习人工智能技术创造出来的,用来自几个不同数据集的成千上万张标记图像作为训练数据,所有这些数据集包括 LaMem 在内均由 CSAIL 开发,其中 LaMem 包含 6 万张图片,每张图片都带有详细元数据注释,标明了受欢迎程度和情绪影响等特性。

该团队为了鼓励未来的研究,将 LaMem 数据库发布并且发表了研究论文,以此鼓励深入研究探索计算机领域中未曾研究过的主题。

在被问到深度学习算法所识别到的究竟是什么样的图像模式,从而预测记忆程度的时候,麻省理工学院 CSAIL 的博士生阿迪蒂亚·科斯拉(Aditya Khosla),同时也是一篇相关论文的第一作者这样告诉 TechCrunch:这是一个非常难以回答的问题,也是十分活跃的研究领域。虽然深度学习算法非常强大,能够识别记忆程度不同的图像模式,但是要了解清楚算法所识别的特征究竟是哪些还是相当具有挑战性。

“在一般情况下,该算法会利用图像中的对象和场景进行预测,但它究竟是如何做到这一点的还难以解释。一些初步分析表明,(暴露出的)身体部位和面部往往会被很好记住,而显示室外场景如海滩或地平线等的照片比较容易被遗忘。”

该研究还曾将图片逐张展示给人们看,在这些人见到之前见过的图像时,让他们按下按键,从而为这些图片创建记忆分数,然后用这些图片训练算法。据科斯拉说,该团队从亚马逊土耳其机器人(Amazon Mechanical Turk)众包平台找到了大约 5000 人来看图,LaMem 数据集中每张图片平均被 80 个人看过。

就缺点而言,该算法目前对于没有训练过的图片的预测性不如训练过的图片好——所以它现在在自然图片上的表现要好些,而在标志或线条图上表现就不那么好了。

“因为它看不到颜色、字体等的变化对标志的记忆性的影响,所以它对这些图片的理解有限,”科斯拉说道。“但解决的方法就是获取更多这样的数据,我们也希望在不久的将来能有进一步的探索——为了更好地理解这些图,去获得某些特定领域的专业数据,也许未来这些还会有商业用途。当前我们搜集数据的领域之一就是人的面孔。”

该团队早先还曾开发出一套用于预测 面部记忆指数 的相似算法。

科斯拉在谈到未来 MemNet 应用将会如何工作时表示,基于算法输入对图像进行调整的应用有很多,不过要确保最终的照片赏心悦目却是件难事。他还指出,“最简单的方法是利用热点图,把不易记住的区域都模糊处理,突出易于记住的区域,也可以用一个类似 Instagram 的滤镜特殊处理或是特别裁剪一下。”

“复杂的方法包括添加或删除图像中的对象,从而自动改变图像中让人更容易记忆的内容——但你也可以想得到,这是非常难以实现的 ——我们必须确保对象大小、形状、姿势等等与加入的场景相匹配,避免看起来像是 Photoshop 技术不行。”

研究人员下一步将尝试升级他们的系统,让系统能够预测特定的人的记忆。他们还希望能够个性化系统,让它能够更好地为特定的专业领域,如零售服装和标识设计服务。

在未来能够通过算法预测人们对图像的记忆之前,研究人员也不清楚还需要给人们展示的训练图片的数量。“我们仍在研究这个问题,”科斯拉说。

翻译:曹木

MIT Researchers Train An Algorithm To Predict How Boring Your Selfie Is