한 여성의 사건안면인식 기술로 잘못 식별로토루아 슈퍼마켓에 있는 것은 놀라운 일이 아니었습니다.

Foodstuffs North Island가 지난 2월 소매 범죄에 맞서기 위한 전략의 일환으로 이 기술을 시험하겠다고 발표했을 때 기술 및 개인 정보 보호 전문가들은 즉시 우려를 표명했습니다.

특히 Mäori 여성과 유색 인종 여성의 위험은차별을 받고 있다제기되었으며, 이제 4월 초에 Te Ani Solomon에게 일어난 일로 인해 입증되었습니다.

이번주 언론과의 인터뷰에서솔로몬이 말했다.그녀는 인종이 자신의 잘못된 신원 확인에 "큰 요소"라고 생각했습니다."안타깝게도 이에 대한 규칙과 규정이 없다면 많은 뉴질랜드인들이 경험하게 될 것입니다."

슈퍼마켓 회사의응답이것이 "인간 오류의 실제 사례"였다는 사실은 AI 및 자동화 시스템의 사용에 대한 더 깊은 질문을 해결하지 못합니다.

자동화된 의사결정과 인간의 행동

자동화된 얼굴 인식은 정확성과 정확성 평가에 중점을 둔 순수 알고리즘 패턴 매칭으로 초록에서 종종 논의됩니다.

이는 다음을 다루는 시스템에 있어서 당연히 중요한 우선순위입니다.생체정보그리고 보안.그러나 자동화된 결정의 결과에 초점을 맞추다 보면 이러한 결정이 어떻게 적용되는지에 대한 우려를 간과하기 쉽습니다.

디자이너는 제품의 일상적인 작업 조건, 작업 및 목표를 설명하기 위해 "사용 컨텍스트"라는 용어를 사용합니다.와 함께얼굴 인식 기술슈퍼마켓에서는 사용 환경이 인체 공학이나 유용성과 같은 전통적인 디자인 문제를 훨씬 뛰어넘습니다.

자동화된 무단 침입 알림이 매장 내 대응을 어떻게 트리거하는지, 이러한 대응을 관리하기 위한 프로토콜, 문제가 발생하면 어떤 일이 발생하는지 고려해야 합니다.이는 단순한 기술이나 데이터 문제 그 이상입니다.

이러한 관점은 시스템의 다양한 수준에서 엔지니어링 및 설계 개입의 영향을 이해하고 균형을 맞추는 데 도움이 됩니다.

예측 정확도를 향상시키는 데 투자하는 것은 얼굴 인식 시스템의 최우선 과제인 것 같습니다.그러나 이는 소수의 잘못된 예측으로 인한 피해가 다른 곳의 한계 성능 향상보다 더 큰 광범위한 사용 맥락에서 보아야 합니다.

소매범죄 대응

상점에서 좀도둑질과 폭력 행위가 증가한 것으로 보고된 것은 뉴질랜드만이 아닙니다.영국에서는 소매점 직원을 폭행하는 등 '위기'로 묘사됐다.독립형 범죄.

캐나다 경찰은추가 자원 유입'도둑질 단속'에 들어간다.그리고 캘리포니아에서는 거대 소매업체인 Walmart와 Target이처벌 강화 촉구소매 범죄.

이러한 문제는 생활비 상승과 관련이 있지만, 산업계에서는Retail NZ는 다음을 지적했습니다.이익을 추구하는 조직범죄가 주요 요인이다.

매장 내 뻔뻔스러운 절도 및 폭행 장면을 보안 영상으로 선정적으로 보도하는 것은 의심할 여지 없이 대중의 인식에 영향을 미칩니다.그러나 좀도둑과 범죄자에 대한 일관되고 공정한 데이터가 부족하기 때문에 추세를 측정하기가 어렵습니다.

뉴질랜드 국민의 15~20%가 식량 불안에 시달리고 있는 것으로 추정된다.것으로 밝혀졌다민족성 및 사회 경제적 지위와 밀접한 관련이 있습니다.생활비 사이의 연관성,식량 불안훔친 식료품의 암시장 유통은 복잡하고 미묘할 가능성이 높습니다.

그러므로 피해의 위험과 시민 사회에 대한 영향을 고려하여 원인과 결과를 평가할 때 주의가 필요합니다.지속적인 감시소매 공간에서.

AI와 인간의 편견

칭찬할 만하게도 Foodstuffs는 ​​개인정보 보호 감독관과 협력하여 다음과 같은 조치를 취했습니다.보호 장치에 대해 투명하게생체 인식 데이터 수집 및 삭제 프로토콜.부족한 점은 매장의 보안 대응을 위한 프로토콜이 더 명확하다는 것입니다.

이는 고객이 안면 인식 카메라에 동의하는 것 이상입니다.고객은 또한 무단 침입 통지가 발행되면 어떤 일이 발생하는지, 그리고 오인이 발생할 경우 분쟁 해결 절차를 알아야 합니다.

연구에 따르면 인간의 의사결정자는 다음과 같은 일을 할 수 있습니다.AI 결정에서 편견을 물려받음.스트레스가 심하고 폭력 위험이 있는 상황에서 자동화된 안면 인식과 임시 인간 판단을 결합하는 것은 잠재적으로 위험할 수 있습니다.

개별 작업자나 기술 구성 요소를 단일 실패 지점으로 격리하고 비난하기보다는 전체 시스템에서 오류에 대한 탄력성과 허용 오차를 더 강조해야 합니다.

AI 오류와 인적 오류는 완전히 피할 수는 없습니다."루프 내 인간"이 포함된 AI 보안 프로토콜에는 고객 권리를 존중하고 고정관념을 방지하는 보다 세심한 보호 장치가 필요합니다.

쇼핑 및 감시

호주 슈퍼마켓은 명백한 기술 감시로 소매 범죄에 대응했습니다. 직원에게 신체 카메라를 지급했습니다.이제 채택됨뉴질랜드의 Woolworths에서 제작) 매장, 자동화된 트롤리 잠금 장치 및 출구 게이트를 통한 고객 이동을 디지털 방식으로 추적하여 사람들이 비용을 지불하지 않고 떠나는 것을 방지합니다.

이제 슈퍼마켓은 쇼핑 경험의 기술적 변화의 최전선에 있을 수 있습니다.모든 고객을 잠재적인 도둑으로 모니터링하는 감시 문화로 전환하는 것은 9/11 이후 글로벌 공항 보안이 변화한 방식을 연상시킵니다.

뉴질랜드 제품 디자이너,소프트웨어 엔지니어데이터 과학자들은 개인정보 보호 위원회의 결과에 세심한 주의를 기울일 것입니다.Foodstuffs의 얼굴 인식 실험 검토.

절도와 폭력은 슈퍼마켓이 해결해야 할 시급한 문제입니다.그러나 이제 그들은 디지털 감시 시스템이 가능한 대안적 접근 방식보다 더 책임감 있고 윤리적이며 효과적인 솔루션임을 보여줘야 합니다.

이는 기술을 인정하려면 오용, 편견 및 피해를 피하기 위해 인간 중심의 설계가 필요하다는 것을 의미합니다.결과적으로 이는 규제 프레임워크 및 표준을 안내하고 AI의 허용 가능한 사용에 대한 공개 토론을 알리며 보다 안전한 자동화 시스템 개발을 지원하는 데 도움이 될 수 있습니다.

이 기사는 다음에서 재출판되었습니다.대화크리에이티브 커먼즈 라이센스에 따라.읽기원본 기사.