一名女子的事件人臉辨識技術誤認羅托魯瓦一家超市的出現應該不足為奇。

當北島食品公司在二月宣布打算試用這項技術時，作為打擊零售犯罪策略的一部分，技術和隱私專家立即提出了擔憂。

尤其是毛利婦女和有色人種婦女所面臨的風險受到歧視被提出，現在已經被四月初發生在特阿尼·所羅門身上的事情所證實。

本週接受媒體採訪時，所羅門說她認為種族是導致她身分錯誤的一個「重要因素」。“不幸的是，如果我們沒有一些相關的規則和規定，這將是許多新西蘭人的經歷。”

超市公司的回覆認為這是「真正的人為錯誤案例」並不能解決有關人工智慧和自動化系統的這種使用的更深層次的問題。

自動決策與人類行為

自動臉部辨識通常被抽像地討論為純粹的演算法模式匹配，重點是評估正確性和準確性。

對於處理以下問題的系統來說，這些是理所當然的重要優先事項生物辨識數據和安全。但由於如此關鍵地關注自動化決策的結果，人們很容易忽略對如何應用這些決策的擔憂。

設計師使用術語「使用環境」來描述產品的日常工作條件、任務和目標。和臉部辨識技術在超市中，使用環境遠遠超出了人體工學或可用性等傳統設計關注。

它需要考慮自動侵入通知如何觸發店內回應、管理這些回應的協議以及出現問題時會發生什麼。這些不僅僅是純粹的技術或數據問題。

這種觀點有助於我們理解和平衡工程和設計介入對系統不同程度的影響。

投資提高預測準確性似乎是臉部辨識系統的首要任務。但這必須在更廣泛的使用背景下看待，少數錯誤預測造成的危害超過其他地方的邊際表現改進。

因應零售犯罪

紐西蘭並不是唯一一個報告入店行竊和商店暴力行為增加的國家。在英國，這被描述為一場“危機”，襲擊一名零售員工現在已成為一種“危機”。獨立的刑事犯罪。

加拿大警方正在匯集額外資源進入「商店行竊打擊行動」。在加州，零售巨頭沃爾瑪和塔吉特推動加重處罰力道零售犯罪。

雖然這些問題與生活成本上升有關，但行業團體紐西蘭零售業指出以營利為目的的組織犯罪是主要因素。

使用安全錄影對商店中明目張膽的盜竊和襲擊進行聳人聽聞的報道無疑會影響公眾的看法。但由於缺乏關於入店行竊和犯罪者的一致、公正的數據，很難衡量趨勢。

據估計，紐西蘭有 15% 至 20% 的人受到糧食不安全問題的影響發現是與種族和社會經濟地位密切相關。生活成本之間的聯繫，糧食不安全被盜食品雜貨的黑市分銷可能是複雜而微妙的。

因此，考慮到損害的風險以及向民間社會轉變的影響，在評估因果關係時需要謹慎。持續監視在零售空間。

人工智慧和人類偏見

值得稱讚的是，Foodstuffs 已與隱私專員進行了接觸，並已保障措施透明在生物辨識資料收集和刪除協議中。缺少的是商店安全回應協議的更加清晰。

這不僅僅是客戶同意使用臉部辨識攝影機的問題。客戶還需要知道發出侵入通知後會發生什麼，以及發生錯誤識別時的爭議解決流程。

研究顯示人類決策者可以繼承人工智慧決策的偏見。在壓力和暴力風險加劇的情況下，將自動臉部辨識與臨時人類判斷結合可能會造成危險。

與其將單一工作人員或技術組件孤立並歸咎於單點故障，不如更加強調整個系統的彈性和對錯誤的容忍度。

人工智慧錯誤和人為錯誤無法完全避免。「人在循環中」的人工智慧安全協議需要更仔細的保障措施，尊重客戶權利並防止刻板印象。

購物和監控

澳洲超市透過公開的技術監控來應對零售犯罪：向員工發放隨身攝影機（還現已採用由紐西蘭 Woolworths 開發），以數位方式追蹤顧客在商店、自動手推車鎖和出口處的動向，以防止人們不付款就離開。

超市現在可能處於購物體驗技術變革的最前線。轉向監控文化，將每位顧客視為潛在的小偷進行監控，這讓人想起 9/11 後全球機場安全的變化。

紐西蘭產品設計師，軟體工程師資料科學家將密切關注隱私專員的結果食品臉部辨識試驗回顧。

竊盜和暴力是超市亟待解決的問題。但他們現在需要證明，數位監控系統是比可能的替代方法更負責任、更道德和更有效的解決方案。

這意味著承認科技需要以人為本的設計，以避免濫用、偏見和傷害。反過來，這可以幫助指導監管框架和標準，為有關人工智慧的可接受使用的公眾辯論提供信息，並支持開發更安全的自動化系統。

本文轉載自對話根據知識共享許可。閱讀原創文章。