Recientemente, el equipo de investigación dirigido por el profesor Wang Hongqiang de los Institutos Hefei de Ciencias Físicas de la Academia de Ciencias de China propuso un modelo de IA de visión artificial de modalidad cruzada de amplio alcance.

Este modelo superó las limitaciones de los modelos tradicionales de dominio único en el manejo de información multimodal y logró nuevos avances en la tecnología de recuperación de imágenes multimodal.

La visión artificial multimodal es un desafío importante en la IA, ya que implica encontrar coherencia y complementariedad entre diferentes tipos de datos.Los métodos tradicionales se centran en imágenes y características, pero están limitados por cuestiones como la granularidad de la información y la falta de datos.

En comparación con los métodos tradicionales, los investigadores encontraron que las asociaciones detalladas son más efectivas para mantener la coherencia entre las modalidades.el trabajo esal corrientehaciaarXivservidor de preimpresión.

En el estudio, el equipo introdujo una red de minería de información de amplio alcance (WRIM-Net).Este modelo creó interacciones de regiones globales para extraer asociaciones detalladas en varios dominios, como dominios espaciales, de canales y de escala, enfatizando la extracción de información de modalidad invariante en un amplio rango.

Además, el equipo de investigación guió a la red para extraer eficazmente información invariante de modalidad mediante el diseño de una pérdida contrastiva de instancia clave entre modalidades.La validación experimental demostró la eficacia del modelo en conjuntos de datos de modalidad cruzada tanto estándar como a gran escala, logrando por primera vez más del 90 % en varias métricas clave de rendimiento.

Este modelo se puede aplicar en varios campos de la inteligencia artificial, incluida la trazabilidad y recuperación visual, así comoanálisis de imágenes médicas, según el equipo.