面部识别系统长期以来一直在为女性和色彩人群提供更高的错误率

昨天，亚马逊安静的Rekognition计划变得非常公开，因为北加州ACLU获得的新文件显示该系统与奥兰多市和摩托罗拉解决方案等警察摄像机供应商合作，提供积极的新型实时面部识别服务。亚马逊坚持认为该服务是一种简单的对象识别工具，仅用于法律目的。但即使我们接受公司的承诺，该项目也会引起严重关注，特别是在种族偏见方面。

面部识别系统长期以来一直在为女性和色彩人群提供更高的错误率 - 错误率可以直接转化为边缘化群体的更多停留和逮捕。虽然有些公司已通过公开偏见测试做出回应，但亚马逊尚未共享任何有关该问题的数据，如果它根本收集数据的话。与此同时，它已经在美国各个城市部署其软件，其增长受到世界上最大的云基础设施之一的推动。对于任何担心算法偏见的人来说，这是一个可怕的想法。

对于曾参与昨天报告的ACLU-NC的Matt Cagle来说，偏见的可能性是系统最大的问题之一。“我们对亚马逊明显无法理解其产品对真人的影响感到震惊，”Cagle说。“人脸识别是一种有偏见的技术。它不会使社区更安全。它只是为更大的歧视性监视和警务提供动力。“

最具体的问题是错误的识别。警方通常使用面部识别来寻找特定的嫌疑人，将可疑照片与相机镜头或照片阵列进行比较。但是白人受试者产生错误匹配的可能性始终低于黑人受试者，这是在许多算法中发现的偏见。从最基本的角度来看，这意味着面部识别系统会给非白人带来非法指控和逮捕的额外威胁。偏见似乎来自用于训练算法的数据，这通常会使白人和男性产生偏差。有可能解决这个问题，但没有公开证据表明亚马逊正在解决这个问题。

到目前为止，Rekognition没有共享数据，这不是一个好兆头。该项目拥有广泛的开发人员文档，涉及从泳衣检测到名人隐私要求的所有内容，但没有任何关于种族偏见的可能性。ACLU的报告昨天破了之后，我直接询问了亚马逊公司是否有任何有关Rekognition偏差测试的数据，但到目前为止，没有任何数据出现过。

这是一个明显的疏忽，部分原因是公共测试在其他面部识别公司中相对普遍。一年多以来，作为一个名为面部识别供应商测试(FRVT)的政府项目的一部分，已有数十家公司在公共场合测量他们的系统。FRVT由美国国家标准与技术研究院运行，是我们对算法偏差进行的最系统的研究之一。供应商提交算法，NIST通过一组受控测试运行它们，尽可能少地报告结果。

由此产生的报告可以向您展示60种不同算法的错误率如何在种族和性别偏见中发挥作用。它看起来像这样：

这基本上就是偏见。线越高，错误率越高。因此，在红线高于蓝线的任何地方，你都会看到种族偏见。只要整条线高于虚线，你就会看到性别偏见。(从技术上讲，X和Y轴是假阳性和假阴性的比率，但实质上，更高的更差。)通过图表，您可以看到偏差是一个行业范围的问题，但它也是一个可解决的问题。来自NEC和Tongyi Trans的最佳算法几乎没有显示任何线条之间的差距，大概是因为公司一直在研究训练数据集，直到他们解决了问题。

关于此图表的另一个重要事项：亚马逊不在其中。FRVT是一个严格自愿的过程，面向试图给人留下良好印象的联邦承包商，所以亚马逊不在名单上并不奇怪。不过，值得考虑的原因不是。您可以提出商业机密，但已经有60种算法排名，很难说参与此类测试会受到很多惩罚。但是，如果没有一些外部力量迫使亚马逊进入它，它就没有理由让它登录。

我们经常谈论算法偏见，好像它是邪恶的魔法，但在这些方面，问题很简单。亚马逊和它喜欢的公司需要在这些系统推出之前公开偏见评论。有很多方法可以做到这一点，无论是自愿的行业参与，如FRVT还是州级透明度法，这些法律在刑事司法算法中越来越受欢迎。这可能是严格的规定或轻触规范。但是当这样的算法在公共场合使用时，我们应该对它的工作效果和失败感有所了解。

亚马逊庞大的云基础设施使其成为面部识别行业的一个令人生畏的竞争对手，其实时试点显示，它已经开始超越其更透明的竞争对手。如果你担心有偏见的算法会滑入野外，这是一个令人不安的想法。我们知道在这些类型的系统中，偏差是可能的，甚至是可能的。问题是：亚马逊将采取什么措施?