一名女子的事件人脸识别技术误认罗托鲁瓦一家超市的出现应该不足为奇。

当北岛食品公司在二月份宣布打算试用这项技术时，作为打击零售犯罪战略的一部分，技术和隐私专家立即提出了担忧。

尤其是毛利妇女和有色人种妇女面临的风险受到歧视被提出，现在已经被四月初发生在特阿尼·所罗门身上的事情所证实。

本周接受媒体采访时，所罗门说她认为种族是导致她身份错误的一个“重要因素”。“不幸的是，如果我们没有一些相关的规则和规定，这将是许多新西兰人的经历。”

超市公司的回复认为这是“真正的人为错误案例”并不能解决有关人工智能和自动化系统的这种使用的更深层次的问题。

自动决策和人类行为

自动面部识别通常被抽象地讨论为纯粹的算法模式匹配，重点是评估正确性和准确性。

对于处理以下问题的系统来说，这些是理所当然的重要优先事项生物识别数据和安全。但由于如此关键地关注自动化决策的结果，人们很容易忽视对如何应用这些决策的担忧。

设计师使用术语“使用环境”来描述产品的日常工作条件、任务和目标。和面部识别技术在超市中，使用环境远远超出了人体工程学或可用性等传统设计关注点。

它需要考虑自动侵入通知如何触发店内响应、管理这些响应的协议以及出现问题时会发生什么。这些不仅仅是纯粹的技术或数据问题。

这种观点有助于我们理解和平衡工程和设计干预对系统不同级别的影响。

投资提高预测准确性似乎是面部识别系统的首要任务。但这必须在更广泛的使用背景下看待，少数错误预测造成的危害超过其他地方的边际性能改进。

应对零售犯罪

新西兰并不是唯一一个报告入店行窃和商店暴力行为增加的国家。在英国，这被描述为一场“危机”，袭击一名零售员工现在已成为一种“危机”。独立的刑事犯罪。

加拿大警方正在汇集额外资源进入“商店行窃打击行动”。在加利福尼亚州，零售巨头沃尔玛和塔吉特推动加大处罚力度零售犯罪。

虽然这些问题与生活成本上升有关，但行业团体新西兰零售业指出以营利为目的的有组织犯罪是主要因素。

使用安全录像对商店中明目张胆的盗窃和袭击进行耸人听闻的报道无疑会影响公众的看法。但由于缺乏关于入店行窃和犯罪者的一致、公正的数据，很难衡量趋势。

据估计，新西兰有 15% 至 20% 的人受到粮食不安全问题的影响发现是与种族和社会经济地位密切相关。生活成本之间的联系，粮食不安全被盗食品杂货的黑市分销可能是复杂而微妙的。

因此，考虑到损害的风险以及向民间社会转变的影响，在评估因果关系时需要谨慎。持续监视在零售空间。

人工智能和人类偏见

值得称赞的是，Foodstuffs 已与隐私专员进行了接触，并已保障措施透明在生物识别数据收集和删除协议中。缺少的是商店安全响应协议的更加清晰。

这不仅仅是客户同意使用面部识别摄像头的问题。客户还需要知道发出侵入通知后会发生什么，以及发生错误识别时的争议解决流程。

研究表明人类决策者可以继承人工智能决策的偏见。在压力和暴力风险加剧的情况下，将自动面部识别与临时人类判断相结合可能存在危险。

与其将单个工作人员或技术组件孤立并归咎于单点故障，不如更加强调整个系统的弹性和对错误的容忍度。

人工智能错误和人为错误无法完全避免。“人在循环中”的人工智能安全协议需要更仔细的保障措施，尊重客户权利并防止刻板印象。

购物和监控

澳大利亚超市通过公开的技术监控来应对零售犯罪：向员工发放随身摄像头（还现已采用由新西兰 Woolworths 开发），以数字方式跟踪顾客在商店、自动手推车锁和出口处的动向，以防止人们不付款就离开。

超市现在可能处于购物体验技术变革的最前沿。转向监控文化，将每个顾客都视为潜在的小偷进行监控，这让人想起 9/11 后全球机场安全的变化。

新西兰产品设计师，软件工程师数据科学家将密切关注隐私专员的结果食品面部识别试验回顾。

盗窃和暴力是超市亟待解决的问题。但他们现在需要证明，数字监控系统是比可能的替代方法更负责任、更道德和更有效的解决方案。

这意味着承认技术需要以人为本的设计，以避免滥用、偏见和伤害。反过来，这可以帮助指导监管框架和标准，为有关人工智能的可接受使用的公众辩论提供信息，并支持开发更安全的自动化系统。

本文转载自对话根据知识共享许可。阅读原创文章。