중국과학원(CAS) 허페이 물리과학연구소(HFIPS)의 Xie Chengjun 교수와 Zhang Jie 부교수가 이끄는 연구진이 RAW-to-sRGB를 위한 새로운 딥러닝 기반 프레임워크인 Fourier-ISP를 공개했습니다.이미지 변환.

이 접근 방식은 다음과 같은 출판물에 게재되었습니다.인공지능진흥협회(AAAI) 2024 회의록.

RAW 이미지를 sRGB 이미지로 변환하면 스마트폰 사진의 시각적 매력과 유용성이 향상됩니다.그러나 현재 방법은 색상 및 공간 구조 정확도, 특히 해상도 및 이미지 유형 변화로 인해 어려움을 겪고 있습니다.컬러 매핑과공간 구조사이의 복잡한 상호 작용으로 인해 최적이 아닌 결과를 생성합니다.스타일그리고 이미지 내의 구조.이러한 어려움을 극복하기 위해 팀은 새로운 것을 개발했습니다.

뼈대푸리에-ISP라고 합니다.이미지 신호 처리 파이프라인에서 영감을 받은 이 접근 방식은 주파수 영역 내에서 이미지의 스타일과 구조를 분리합니다.

팀 구성원인 Zhang Jie는 "이를 통해 독립적인 최적화가 가능해졌습니다."라고 말했습니다.

Fourier-ISP는 세 개의 하위 네트워크로 구성됩니다. 하나는 구조적 세부 사항을 개선하기 위한 것이고, 다른 하나는 정확한 색상을 학습하기 위한 것이고, 세 번째는 이러한 요소를 원활하게 혼합하기 위한 것입니다.이러한 스타일과 구조의 분리를 통해 이미지 변환 성능이 향상되어 더 선명하고 정확한 색상과 구조적 세부 정보를 생성할 수 있습니다.

다양한 데이터 세트에 대한 광범위한 평가를 통해 Fourier-ISP가 정성적 및 정량적 평가에서 최첨단 결과를 실현하고 정밀도와 세부 재현 측면에서 기존 방법을 능가한다는 사실이 확인되었습니다.이는 구조적 정보와 스타일 정보 모두를 처리하는 데 있어 강력한 전달성과 효율성을 입증하여 향상된 색상 재현과 질감 보존을 보장합니다.특히 Fourier-ISP는 ZRR 데이터 세트에서 0.17dB의 인상적인 PSNR 개선을 달성했습니다.

팀에 따르면 이 프레임워크는 이미지 처리 분야에 대한 새로운 통찰력을 도입하여 특히 모바일 사진에서 고화질 이미지 변환을 달성하는 데 있어 스타일-구조 분리의 잠재력을 보여줍니다.

종이는사용 가능에arXiv사전 인쇄 서버.

제공자:중국과학원 허페이 물리과학연구소