公共行业的算法要有公共级别的良知

下一篇文章

小米 IPO 给前国际业务负责人雨果·巴拉带来巨额财富

在《麻省理工科技评论》最近发表的一篇名为 《算法正在加剧美国人的不平等》 的文章中,作者弗吉尼娅·尤班克斯(Virginia Eubanks)根据她的新书《走向自动化的不平等》对这个论点展开了一系列深入探讨。她指出,美国的贫困群体正在成为新技术的试验场,但这一技术也在日益加剧他们所面对的不平等。尤其是在算法被用在界定或者分配社会服务资格的时候,它会带来更多的阻碍,并且迫使他们不得不去面对个人信息的滥征行为。

我曾对政府在执法过程中采用面部识别技术所衍生出的隐患展开了多次探讨,但这篇文章却让我认识到了新的问题:不公正的潜在判定隐患让那些可能真正需要帮助的人们得不到应有的救助,尽管这些判别是由“算法数据”所决定。

很多时候,我们都是在下意识的接受生活上的决策,尽管它们并不是我们亲手制定。房贷,卡贷,车贷···它们的账单什么时候发放,账期还要持续多久,每次需要多少还款等等,那些公司说什么,我们就要照着做什么。这些决策几乎都是取决于某些直观因素:它们是你的信用评分,是你的就业状况,是你的收入报酬。它们决定了这里的一切。在这些算法导向的社会服务项目中,呈现在我们面前的是一种按“息”分配,你的个人信息就是你的个人价值。

尤班克斯在文章举出了一个案例:匹兹堡的儿童、青年和家庭服务署(CYF)采用了基于统计模型的 阿勒格尼家庭筛选工具(Allegheny Family Screening Tool , AFST)评估该地区儿童遇到的虐待和留守状况。但该工具带来的反馈结果却是严重失衡——它的算法数据大多取材于公立学校或者诸如职业介绍所、少改所这样的基层机构,而它们的常用群体基本上都是低收入人群。所以,这些模型中的变量权重在面对私立学校或者个人诊所的受众时会有很大的出入。

诸如 AFST 这种的诊断措施把贫穷和罹受风险的可能性连在了一起,然而与此同时,它们的出现也是对阶级主义的一种心照不宣。在更坏的情况下,甚至还会体现出数据丧失人性的一面。因此,人工智能技术在执法或者政府监管等方面的肆意滥用往往也就意味着是对生命的一种践踏。

泰勒·欧文(Taylor Owen)在 2015 年写过一篇名为 《野蛮的算法》 的文章。他在用两个观点概括了在大数据公司的 Palantir 亲历的一些体会:

  1. 这类系统通常由人类自身编写而成,这些数据标签的来源和录入都是来自于我们自身提供完成,所以结果通常就是“充满了人类视阈上的错误与偏见”。
  2. 这些系统被越来越多地用于暴力方面的用途。

“我们正在着手构建的,是现实世界的实时 3D 缩影,是对我们自身的永久记录···但又有谁能告诉我们这些采集数据的意义在哪里?”欧文对如今种种人工智能或者其他的数据采集技术行为提出了这样的质疑。

历史数据只有在给到关联的上下文语境时才会体现出它的意义所在,但这些关联数据并不是经常所有。当我们在处理诸如贷款或者信用卡这些金融方面的数据时,它们的取决范畴却是来自于某些数字。虽然在这个过程中会不可避免的出现一些错误或者失误,虽然不予授信不一定会让警察找上门来请你喝茶。

但我们也需要认识到这一点,这种使用采集数据作为决定因素的预测系统或许真的会让警方介入其中,至少在设计理念上它就含有这个意图。

当我们谈起适用于少数群体的当代历史政策时,《吉姆·克劳法》 首先就会浮现在我们的面前。但我们不应该忘记,这个公然鼓吹对有色人种实施种族隔离的律法直到 1967 年才被完全正式废除,虽然它在《1965 年民权法案》中就已被宣布废止。

在这一背景下,根据宪法,我们可以清楚的看到拥有完全意义上的美国人的黑人群体只有 51 年的历史。如今,无论这些 带有成见的算法 是有意还是无意为之,它们都在日益构建出一种对贫困群体和少数群体不友好的系统,而他们因此徘徊在被犯罪与被忽视的边缘。

所以我们不难发现,当社会的某些运转是借助我们自身的力量以避免 像谷歌一样与政府为虎作伥时 ,我们所肩负的责任会是一种道德伦理,而这种责任的最大肩负者则是那些提供或者构建算法的群体。此外,我们也应该去尽力避免为当权者提供否定人性价值的工具或者手段。

尤班克斯在她的作品中提到了一些有关算法的告诫,比如:不作恶的设计理念,避免偏见···以确保系统不会被用在压迫的无情用途之上。为此,麻省理工媒体实验室的研究人员,同时也是“算法正义联盟”创始人的 卓伊·布兰温妮(Joy Buolamwini) 已经做出了相关表率,会在她所涉及的面目分析技术中肩负起这个责任。

她在承诺中表示会尊重人类的生命和尊严。这些具体行动包括拒绝参与致命性自动化武器的研发,不为执法机构提供个人诉求上的面部分析产品或者服务。

布兰温妮的举动可以看做是朝向自我监管迈出的一步坚实开端,而这或许也是面部识别类公共服务技术在公众监管层面的另一个开始,一个以我们自身为监管者而不是被监管者的开始。至少,在我看来会是如此。

编者按: 本文作者布莱恩·布拉金(Brian Brackeen)是面部识别软件研发公司 Kairos 的 CEO。

In the public sector, algorithms need a conscience