Un equipo de investigadores dirigido por el profesor Xie Chengjun y el profesor asociado Zhang Jie de los Institutos de Ciencias Físicas de Hefei (HFIPS) de la Academia de Ciencias de China (CAS), presentó Fourier-ISP, un novedoso marco basado en aprendizaje profundo para RAW a sRGB.conversión de imágenes.

Este enfoque fue aceptado para su publicación en elActas de 2024 de la Asociación para el Avance de la Inteligencia Artificial (AAAI).

La conversión de imágenes RAW a imágenes sRGB mejora el atractivo visual y la usabilidad de la fotografía con teléfonos inteligentes.Sin embargo, los métodos actuales tienen problemas con la precisión del color y la estructura espacial, especialmente con las variaciones de resolución y tipo de imagen.Combinando mapeo de colores yestructura espacialproduce resultados subóptimos debido a la compleja interacción entreestiloy estructura dentro de las imágenes.Para superar estos desafíos, el equipo ha desarrollado una novela

estructurallamado Fourier-ISP.Inspirado en el proceso de procesamiento de señales de imágenes, este enfoque separa el estilo y la estructura de la imagen dentro del dominio de la frecuencia.

"Permitió una optimización independiente", afirmó Zhang Jie, miembro del equipo.

Fourier-ISP consta de tres subredes: una para refinar los detalles estructurales, otra para aprender colores precisos y una tercera para combinar estos elementos a la perfección.Este desacoplamiento de estilo y estructura permite un rendimiento mejorado en la conversión de imágenes, produciendo colores y detalles estructurales más nítidos y precisos.

Evaluaciones exhaustivas en diversos conjuntos de datos confirman que Fourier-ISP logra resultados de última generación en evaluaciones cualitativas y cuantitativas, superando los métodos existentes en precisión y reproducción de detalles.Demuestra una sólida transferibilidad y eficacia en el manejo de información estructural y de estilo, asegurando una mejor reproducción del color y preservación de la textura.En particular, Fourier-ISP logró una impresionante mejora de PSNR de 0,17 dB en el conjunto de datos ZRR.

Este marco introduce una visión novedosa en el campo del procesamiento de imágenes, mostrando el potencial del desacoplamiento estilo-estructura para lograr una conversión de imágenes de alta fidelidad, particularmente en fotografía móvil, según el equipo.

el papel esdisponibleen elarXivservidor de preimpresión.

Proporcionado porInstitutos Hefei de Ciencias Físicas, Academia de Ciencias de China