불확실성 추정은 심층 신경망의 신뢰성을 향상시키는 데 중요합니다.캘리포니아 대학교 로스앤젤레스 캠퍼스의 Aydogan Ozcan이 이끄는 연구팀은 역영상 문제를 해결하는 데 있어 심층 신경망의 신뢰성을 높이기 위해 주기 일관성을 사용하는 불확실성 정량화 방법을 도입했습니다.

이 연구는출판됨~에지능형 컴퓨팅.

깊은신경망이미지 노이즈 제거, 초해상도 이미징 및 의료 이미지 재구성과 같은 역 이미징 문제를 해결하는 데 사용되었으며, 여기서 목표는 실제로 캡처된 원시 이미지 데이터를 사용하여 종종 일부 품질 저하 후 이상적인 이미지를 생성하는 것입니다.하지만,심층 신경망때로는 신뢰할 수 없는 결과가 나오기도 하며, 어떤 상황에서는 잘못된 예측이 심각한 결과를 초래할 수도 있습니다.출력에 대한 확신을 정량적으로 추정할 수 있는 모델은 변칙적인 데이터 및 노골적인 공격과 같은 비정상적인 상황을 탐지하는 데 더 나은 성능을 발휘할 수 있습니다.

네트워크 불확실성을 추정하는 새로운 방법은 입력-출력 관계를 관리하는 기본 프로세스의 계산 표현 역할을 하는 물리적 순방향 모델을 사용합니다.이 모델을신경망입력 데이터와 출력 데이터 사이에 순방향-역방향 사이클을 실행하면 불확실성이 축적되어 효과적으로 추정할 수 있습니다.

이 방법의 이론적 토대는 다음의 경계를 설정하는 것을 포함합니다.주기일관성은 사이클에서 인접한 출력 간의 차이로 정의됩니다.연구자들은 주기 일관성에 대한 상한 및 하한을 도출하여 신경망 출력의 불확실성과의 관계를 보여주었습니다.이 연구에서는 주기 출력이 분기되는 경우와 수렴되는 경우를 고려하여 두 시나리오에 대한 표현을 제공했습니다.파생된 한계는 실제값에 대한 지식 없이도 불확실성을 추정하는 데 사용할 수 있습니다.

새로운 방법의 효능은 아래에 설명된 두 가지 실험을 통해 입증되었습니다.

이미지 손상 감지

이 작업을 위해 연구자들은 이미지 디블러링(image deblurring)이라는 한 가지 유형의 역 문제에 중점을 두었습니다.그들은 노이즈가 손상되고 손상되지 않은 흐릿한 이미지를 생성하고 손상되지 않은 데이터에 대해 사전 훈련된 이미지 디블러링 네트워크를 적용하여 해당 이미지를 디블러링했습니다.그런 다음 그들은머신러닝 모델순방향-역방향 주기를 통해 이미지가 손상되었거나 손상되지 않은 것으로 분류합니다.그들은 네트워크 불확실성과 편향을 추정하기 위해 주기 일관성 측정항목을 사용하면 최종 분류가 더 정확해진다는 사실을 발견했습니다.

유통되지 않은 이미지 감지

이 순간일, 저자는 이미지 초해상도 문제로 자신의 방법을 확장했습니다.그들은 애니메이션, 현미경, 얼굴 이미지 등 세 가지 유형의 저해상도 이미지를 수집하고 각 이미지 유형별로 하나씩 세 가지 초해상도 신경망을 훈련했습니다.그런 다음 각각의 초해상도 네트워크를 세 가지 유형의 이미지에서 테스트했습니다. 여기서 기계 학습 알고리즘은 순방향-역방향 주기를 기반으로 훈련-테스트 데이터 분포 불일치를 구별하는 방법을 학습했습니다.

예를 들어, 애니메이션 이미지 초해상도 네트워크로 테스트했을 때 저해상도 현미경 및 얼굴 이미지는 "분포 범위를 벗어났습니다". 즉, 네트워크가 훈련된 대상이 아닙니다.알고리즘은 이러한 배포되지 않은 사례를 정확하게 감지하여 사용자에게 경고합니다.다른 두 네트워크의 결과도 비슷했습니다.다른 방법과 비교했을 때, 주기 일관성 기반 방법은 분포 외 영상을 식별하는 데 있어 전반적인 정확도가 더 높았습니다.

연구진은 주기 일관성 기반 불확실성 정량화 방법이 역영상 문제에서 신경망 추론의 신뢰성을 높이는 데 크게 기여할 것으로 기대합니다.또한 이 방법은 불확실성 유도 학습에 적용할 수 있습니다.이번 연구는 다음과 같은 과제를 해결하기 위한 중요한 단계입니다.불확실성신경에서회로망예측을 통해 중요한 실제 애플리케이션에서 딥 러닝 모델을 보다 안정적이고 확실하게 배포할 수 있는 길을 열어줍니다.추가 정보:

Luzhe Huang 외, 역영상 문제에서 신경망의 주기 일관성 기반 불확실성 정량화,지능형 컴퓨팅(2023).DOI: 10.34133/icomputing.0071소환: