ある女性の事件顔認識技術による誤認ロトルアのスーパーマーケットでそれは驚くべきことではありませんでした。

Foodstuffs North Island が 2 月に小売犯罪と戦う戦略の一環としてこのテクノロジーを試験的に導入する意向を発表したとき、テクノロジーとプライバシーの専門家はすぐに懸念を表明しました。

特に、メオリ族の女性と有色人種の女性のリスク差別されているという疑問が提起され、4月初旬にテ・アニ・ソロモンに起こったことによって今それが裏付けられている。

今週メディアに語ったところによると、ソロモンは言いました。彼女は民族性が彼女の不当な識別の「大きな要因」であると考えた。「残念ながら、これに関する規則や規制がなければ、多くのニュージーランド人が同じような経験をすることになるでしょう。」

スーパーマーケット会社の応答これが「人為的ミスの真の事例」であるという主張は、AI や自動化システムのそのような使用に関するより深い疑問に対処することができません。

自動化された意思決定と人間のアクション

自動顔認識は、正しさと精度の評価に重点を置き、純粋なアルゴリズムによるパターン マッチングとして抽象的に議論されることがよくあります。

これらは、次のような問題を処理するシステムにとって当然重要な優先事項です。生体認証データそしてセキュリティ。しかし、自動化された意思決定の結果が非常に重視されるため、これらの意思決定がどのように適用されるかについての懸念が見落とされがちです。

デザイナーは、製品の日常的な作業条件、タスク、目標を説明するために「使用状況」という用語を使用します。と顔認識技術スーパーマーケットでは、使用状況は人間工学や使いやすさなどの従来のデザイン上の懸念をはるかに超えています。

自動化された不法侵入通知が店内での応答をどのようにトリガーするか、それらの応答を管理するためのプロトコル、問題が発生した場合に何が起こるかを考慮する必要があります。これらは単なるテクノロジーやデータの問題ではありません。

この視点は、システムのさまざまなレベルでのエンジニアリングおよび設計介入の影響を理解し、バランスを取るのに役立ちます。

予測精度の向上への投資は、顔認識システムにとって明らかに優先事項と思われます。しかし、これは、少数の誤った予測によってもたらされる害が、他の部分でのわずかなパフォーマンスの向上を上回る、より広範な使用状況で見られる必要があります。

小売犯罪への対応

万引きや店内での暴力行為の増加が報告されているのはニュージーランドだけではない。英国では小売店従業員への暴行が「危機」とされており、現在は大問題となっている。独立した刑事犯罪。

カナダの警察は、余分なリソースを注ぎ込む「万引き取り締まり」に。そしてカリフォルニアでは、小売大手のウォルマートとターゲットが罰則の強化を求める小売犯罪の場合。

これらの問題は生活費の上昇に関連しているが、業界団体は、ニュージーランド小売業は次のように指摘しています。営利目的の組織犯罪が主な要因となっている。

店舗内での厚かましい窃盗や暴行の防犯映像を使ったセンセーショナルな報道が、間違いなく世間の認識に影響を与えている。しかし、万引きと犯罪者に関する一貫した公平なデータが不足しているため、傾向を測定するのは困難です。

ニュージーランドでは国民の15%～20%が食糧不安の影響を受けていると推定されている。であることが判明民族性や社会経済的地位と強く関係しています。生活費との関連性食糧不安そして盗まれた食料品の闇市場での流通は複雑で微妙な模様になる可能性が高い。

したがって、因果関係を評価する際には、悪影響のリスクと、社会への移行による市民社会への影響を考慮して、注意が必要です。常時監視小売スペースで。

AIと人間の偏見

素晴らしいことに、Foodstuffs はプライバシー委員会と協力し、セーフガードについて透明性がある生体認証データの収集および削除プロトコル。欠けているのは、店舗でのセキュリティ対応のプロトコルをより明確にすることです。

これは顧客が顔認識カメラに同意するというだけではありません。また、顧客は、不法侵入通知が発行された場合に何が起こるか、誤認が発生した場合の紛争解決プロセスについても知る必要があります。

研究によると、人間の意思決定者は、AI の決定からバイアスを引き継ぐ。ストレスが高まり暴力のリスクが高まる状況では、自動化された顔認識とその場限りの人間の判断を組み合わせるのは潜在的に危険です。

個々のワーカーやテクノロジー コンポーネントを単一障害点として孤立させて責めるのではなく、システム全体の回復力とエラーに対する許容度をより重視する必要があります。

AI エラーや人的エラーを完全に回避することはできません。「人間が関与する」AI セキュリティ プロトコルには、顧客の権利を尊重し、固定観念から保護する、より慎重な保護手段が必要です。

ショッピングと監視

オーストラリアのスーパーマーケットは小売犯罪に対して、あからさまな技術的監視によって対応した。スタッフにボディーカメラを支給した（また、現在採用されていますニュージーランドのウールワース社による）、店舗内での顧客の動きをデジタル的に追跡し、自動化されたトロリーのロックと出口ゲートを設置して、人々が支払いをせずに出ていくことを防ぎます。

スーパーマーケットは現在、ショッピング体験におけるテクノロジーの変化の最前線にいるかもしれません。すべての顧客が潜在的な泥棒として監視される監視文化への移行は、9/11 以降の世界の空港セキュリティの変化を思い出させます。

ニュージーランドのプロダクトデザイナー、ソフトウェアエンジニアそしてデータサイエンティストは、プライバシー委員会の結果に細心の注意を払うことになるでしょう。Foodstuffs の顔認識試験のレビュー。

窃盗と暴力はスーパーマーケットにとって緊急に対処すべき問題です。しかし彼らは現在、デジタル監視システムが、考えられる代替アプローチよりも責任があり、倫理的で効果的な解決策であることを示す必要がある。

これは、テクノロジーを認識するには、誤用、偏見、危害を避けるために人間中心の設計が必要であることを意味します。これは、規制の枠組みや基準の指針となり、AI の許容可能な使用に関する一般の議論に情報を提供し、より安全な自動化システムの開発をサポートするのに役立ちます。

この記事はから転載されています会話クリエイティブ・コモンズ・ライセンスに基づいて。読んでください元の記事。