인터넷 사용이 일상생활의 일부가 되면서 많은 사람들이 정보를 얻기 위해 다양한 온라인 소스에 의존합니다.인터넷은 더 큰 편리함과 더 넓은 범위의 뉴스 소스를 제공하지만, 허위 정보의 확산은 금세기의 가장 큰 과제 중 하나가 되었으며, 생성 인공 지능의 등장으로 더욱 악화되었습니다.잘못된 정보, 왜곡된 정보, 잘못된 정보(MDM) 등의 형태로 허위 정보가 확산되면 개인과 조직이 해로운 결정을 내릴 수 있으며, 중요하고 논쟁의 여지가 있는 문제에 대한 사회적 분열을 일으키는 것으로 나타났습니다..

예술 및 사회과학부, NUS 비즈니스 스쿨, 컴퓨팅 대학, 디자인 및 공학 대학, 법학부, 리콴유 공공정책대학원 등 다양한 학부의 구성원으로 구성된 연구팀이 다음과 같은 문제를 해결하고 있습니다.거짓정보Information Gyrscope(iGyro)라는 프로그램을 통해 정면으로 접근할 수 있습니다.

이는 디지털 정보 파이프라인의 취약성을 식별 및 해결하고, 온라인 사용자의 디지털 회복력을 강화하기 위한 전략을 개발하고, 신뢰할 수 있는 정보에 대한 참여를 장려하는 행동을 장려하기 위한 포괄적인 5개년 연구 이니셔티브입니다.Chen Tsuhan 교수가 이끄는 40명의 연구원으로 구성된 학제간 팀은 진화하는 디지털 정보 환경을 이해하고 형성하는 데 전념하고 있습니다.

"항공 분야에서 자이로스코프는 항공기의 정확한 제어를 유지하기 위해 안정성과 방향 안내를 제공합니다. 마찬가지로 iGyro는 변화하고 혼란스러운 정보 환경에 직면하여 안정성을 유지하려는 우리 팀의 노력을 보여줍니다. 또한 팀의 학제간 성격을 상징합니다.Chen 교수는 “사회 과학, 컴퓨터 과학, 공학, 법학 등 다양한 분야의 전문 지식을 갖추고 있습니다.”라고 말했습니다.

iGyro 팀은 전체적인 3계층 프레임워크를 채택하여 인간 행동을 이해하고 형성하는 것을 연구의 핵심으로 삼습니다.프레임워크의 다음 계층은 생성에서 보급, 소비에 이르기까지 디지털 정보 파이프라인의 다양한 단계를 이해하는 것을 목표로 하는 기술 영역입니다.마지막으로 프레임워크의 가장 바깥층에서는 완화 전략의 잠재적 영향과 이러한 전략을 배포하는 데 사용되는 규정 및 정책의 역할을 연구합니다.

iGyro 팀출판됨저널 기사디지털 정부: 연구 및 실습iGyro 팀이 어떻게 3계층 프레임워크를 적용하여 생성부터 소비까지 생성 인공 지능으로 생성된 콘텐츠의 라이프사이클을 조사했는지 설명합니다.iGyro 팀은 인간 행동에 중점을 두고 취약성을 강조하고 적응형 증거 기반 정책을 옹호하여 디지털 생태계에 대한 정보 무결성과 대중의 신뢰를 강화했습니다.

iGyro 팀은 2023년 창립 이래 허위 정보 확산을 막기 위한 도구 개발에서도 고무적인 진전을 이루었습니다.

SNIFFER: 잘못된 정보를 탐지하기 위한 다중 모드 대형 언어 모델

실제 이미지가 이미지를 대표하지 않는 허위 텍스트와 짝을 이루는 맥락을 벗어난 잘못된 정보는 허위 정보를 퍼뜨리고 청중을 오도하는 가장 쉽고 효과적인 방법 중 하나입니다.그러나 현재 기술에는 잘못된 정보를 폭로하는 데 필수적인 판단에 대한 설득력 있는 설명이 부족합니다.

문맥을 벗어난 잘못된 정보를 해결하기 위해 iGyro 수석 연구원인 NUS 컴퓨팅 학교의 Wynne Hsu 교수와 Lee Mong Li 교수가 이끄는 팀은 감지하고이미지와 캡션에서 맥락을 벗어난 잘못된 정보를 설명하세요.

SNIFFER는 전문화된 인공지능(AI) 모델을 사용하여 두 가지 측면의 분석을 수행합니다.첫 번째 단계에서는 이미지와 캡션 간의 일관성을 내부적으로 확인합니다.두 번째 단계에서는 외부 소스로부터 정보를 가져와 이미지의 맥락과 제공된 캡션 간의 관련성을 조사합니다.이 두 단계의 결과를 바탕으로 SNIFFER는 이미지-캡션 쌍의 진위 여부를 판단하여 최종 판단을 내리고 해당 쌍이 오해의 소지가 있는지 여부에 대한 설명을 내립니다.

SNIFFER는 이전 MLLM 모델의 성능을 40% 능가하는 것으로 확인되었으며, 다른 최첨단 탐지 방법에 비해 더 높은 정확도로 잘못된 정보 탐지 작업을 수행합니다.연구원들은 추가적인 개선을 통해 SNIFFER가 공개적으로 제공되어 사용자가 상황에 맞지 않는 정보를 식별할 수 있기를 바라고 있습니다.

QACheck: 질문 기반 사실 확인 도구

신뢰할 수 있는 사실 확인 도구의 가용성은 허위 정보의 확산을 막는 한 가지 방법입니다.그러나 온라인 소스를 통한 사실 확인에는 복잡하고 다단계 추론 프로세스가 포함됩니다.기존의 사실 확인 시스템 중 상당수는 의사결정 과정의 투명성이 부족하여 사용자가 결론에 대한 합리적인 설명을 얻기 어렵습니다.

이 문제를 해결하기 위해 iGyro 수석 연구원인 NUS 컴퓨팅 학교 출신의 Kan Min-Yen 부교수는 그의 연구팀과 함께 국제 협력자들과 협력하여 질문 기반 멀티홉 사실 확인(QACheck) 시스템을 개발했습니다.주장을 검증하는 데 필요한 일련의 중요한 질문을 제기하여 모델의 추론을 수행합니다.

QACheck는 클레임 ​​검증기, 질문 생성기, 질문 응답 모듈, QA 검증기, 추론기 등 5개의 핵심 모듈로 구성됩니다.사용자는 QACheck에 주장을 입력할 수 있으며, QACheck에서는 정확성을 평가하고 일련의 질문과 답변을 통해 추론 과정을 간략하게 설명하는 자세한 보고서를 생성합니다.또한 이 도구는 각 질문에 대한 증거 소스를 인용하여 투명하고 설명 가능하며 사용자 친화적인 사실 확인 경험을 촉진합니다.

팀의 다음 단계는 추가 지식 기반을 통합하고 다중 모델 인터페이스를 통합하여 이미지, 표, 차트 등 다양한 데이터 형식을 지원하고 이러한 형식을 처리하고 분석하는 시스템 기능을 확장함으로써 QACheck의 폭과 깊이를 높이는 것입니다.

가짜 뉴스에 맞서 시행되는 글로벌 법안 준비

디지털 정보 소스가 정교해지고 빠르게 발전함에 따라 규정과 정책은 이러한 역동적인 환경에 적응하고 이를 따라잡아야 합니다.

iGyro 수석 연구원이자 NUS 법학부 출신인 Simon Chesterman 교수가 이끄는 팀이입법 활동의 글로벌 환경을 보여주는 대화형 지도가짜 뉴스와 잘못된 정보에 맞서 MDM 문제를 해결하기 위한 법률이 1995년부터 2023년까지 전 세계적으로 어떻게 발전했는지 보여줍니다.

특히, 연구팀은 이러한 법률이 시민의 자유가 적은 국가, 특히 아프리카와 아시아에서 처음 도입되었다는 사실을 발견했습니다.최근에는 아시아 국가들이 종종 자국 정부에 더 큰 권한을 부여하면서 그러한 법안의 증가에 크게 기여했습니다.또한 연구팀은 미국, 캐나다, 유럽연합 등 서방 국가에서 이러한 법률의 확대가 가장 빠르게 가속화되고 있음을 발견했습니다.

iGyro 팀은 이 대화형 지도를 통해 디지털 정보를 관리하는 법률 유형과 가짜 뉴스에 맞서기 위해 여러 국가에서 채택한 다양한 접근 방식의 효율성에 대한 보다 심층적인 분석을 수행하기를 희망합니다.그들의 연구를 통해 얻은 귀중한 통찰력은 모든 국가의 미래 정책을 수립하는 데 도움이 될 것입니다.

"우리는 SNIFFER 및 QACheck와 같은 혁신적인 도구를 개발하고 가짜 뉴스 및 잘못된 정보에 대한 글로벌 입법 환경을 분석하여 미래 정책을 수립함으로써 신뢰할 수 있는 디지털 정보 생태계를 만들고 사용자가 신뢰할 수 있는 인터넷을 통해 정보에 액세스할 수 있도록 지원하기를 바랍니다."라고 Chen 교수는 말했습니다.

추가 정보:Kokil Jaidka 외, 잘못된 정보, 허위 정보 및 생성적 AI: 인식 및 정책에 대한 함의,디지털 정부: 연구 및 실습(2024).DOI: 10.1145/3689372