원래 의료용으로 고안된 CNN(Convolutional Neural Network)인 U-Net은 잠재적으로 해양 원격 감지 분야에 파장을 일으킬 수 있습니다.

현대 사회에서 기술과 인공 지능(AI)으로 해결하거나 도움을 받을 수 없는 문제는 거의 없습니다.이런 경우, 의료영상에서 원하는 '객체'를 추출하는 데 사용되는 도구인 U-Net이 해양학 연구의 잠재적인 수단으로 간주됩니다.유망하긴 하지만 U-Net은 완벽하지 않습니다.모델의 몇 가지 주요 개선 사항은 해양 원격 감지 분야에 큰 변화를 가져올 수 있습니다.

연구원출판됨그들의 발견은원격 탐사 저널2024년 8월.

U-Net 모델은 해양학 연구에 적합한 후보가 될 만큼 충분한 구조를 갖고 있는 것으로 보이지만 현재 상태에서는 연구자의 요구를 완전히 충족시킬 수 없습니다.

U-Net이 해양학 연구로 전환하면서 직면한 과제를 해결하려면 세 가지 주요 범주, 즉 모델의 분할 작업 또는 이미지의 각 픽셀을 분류하는 기능, 예측 작업 및 초해상도 작업의 개선이 필요합니다.

저자이자 연구원인 Haoyu Wang은 "구조적 개선과 새로운 기술의 도입을 통해 U-Net 모델은 작은 표적 탐지, 예측 정확도 및 이미지 재구성 품질에서 상당한 개선을 얻을 수 있으며 해양 원격 탐사 연구의 발전을 더욱 촉진할 수 있습니다"라고 말했습니다..

의미론적 분할을 개선하면 바다의 작은 표적을 탐지하고 식별하는 U-Net의 능력이 향상될 수 있습니다.이는 어텐션 메커니즘을 통해 멀리 있는 픽셀을 인식하고 식별하는 기능과 모델을 통합함으로써 수행될 수 있습니다.예를 들어 모델이 다음과 같은 차이점을 인식하도록 하는 것입니다.오픈 워터바다의 얼음 형성은 필수적이며 U-Net은 이러한 차이를 결정할 수 있습니다.

예측 작업은 물리적 지식과 데이터 기반 방법을 기반으로 결과를 논리적으로 예측하는 모델의 능력을 나타냅니다.해양 원격 탐사를 위해 U-Net 모델을 사용한 이전의 성공 사례에는 남극의 해빙 농도를 예측하는 해빙 예측 네트워크(SIPNet)가 포함됩니다.

U-Net 모델인 SIPNet은 입력 시퀀스(인코더)를 처리하여 나중에 원래 형식(디코더)으로 다시 재구성하는 "인코더-디코더"로 알려진 또 다른 형태의 신경망 아키텍처를 사용했습니다.이는 텍스트를 요약하거나 번역하는 데 자주 사용되지만, 이 경우 SIPNet은 8주간의 해빙 농도 데이터를 사용하여 다음 8주를 예측했습니다.인코더-디코더 아키텍처를 시간 공간 주의 모듈(TSAM)과 결합하면 7일 예측에 대해 예측과 실제 측정 간의 평균 차이가 3% 미만이었으며, 이는 U-Net 모델이 가질 수 있는 정확도를 보여줍니다.임무를 수행할 준비가 완전히 갖추어졌을 때.

마지막으로, 초해상도 작업에 대해 제안된 개선 사항에는 이미지의 흐릿함 또는 "노이즈"를 줄이기 위한 확산 모델의 도입이 포함됩니다.이미지의 노이즈를 줄이려면 두 해상도에서 관찰된 유사점을 기록하여 고해상도 이미지와 저해상도 이미지 간의 상관 관계를 식별해야 합니다.여기에는 이미지에서 특징을 추출하는 모델의 기능을 개선하는 것도 포함됩니다.

연구원들은 고해상도 전색성 이미지(스펙트럼의 모든 가시 색상에 민감함)와 저해상도 다중 스펙트럼 이미지(적외선 및 자외선과 같은 스펙트럼을 통해 데이터를 캡처하는 이미지)를 혼합하여 U-PanDiff 모델을 활용하여 재구성할 것을 제안합니다.무작위 노이즈를 통해 Net.

장기적으로 연구자들의 목표를 지원하려면 U-Net 모델의 추가 최적화가 필요합니다.

연구원이자 연구 저자인 Xiaofeng Li는 "U-Net 모델의 간단하고 이해하기 쉬운 네트워크 아키텍처와 우수한 모델 피팅 기능은 해양 원격 감지 커뮤니티의 연구자들 사이에서 가장 인기를 얻었으며 큰 잠재력을 입증했습니다"라고 말했습니다.

연구자들이 해양 연구에 U-Net을 사용하기 위해 제안한 개선 사항 외에도 U-Net을 다른 시스템이나 기술과 결합하여 모델의 이미 광범위한 적용을 더욱 확장함으로써 수행해야 할 많은 탐색이 있습니다.

추가 정보:Haoyu Wang 외, 지평선 확장: 해양 원격 탐사의 의미론적 분할, 예측 및 초해상도를 위한 U-Net 향상,원격 탐사 저널(2024).DOI: 10.34133/remotesensing.0196

제공자:원격 탐사 저널