Esta hackatón está patrocinado por Newtral

RAG multimodal

Una ClaimReview es un estándar de metadatos para capturar información relevante sobre una verificación de datos (por ejemplo, título, imagen, calificación, afirmación…). Debido a que el documento de revisión combina texto y recursos multimedia, un buscador o chatbot de asistencia debe tener en cuenta no sólo la información textual, sino también toda la información que se puede extraer de los recursos multimedia (en nuestro caso, restringida a recursos de imagen).

En este contexto, el objetivo del desafío es construir un sistema MultiModal RAG (Retrieval-Augmented Generation) que, ante una pregunta formulada en texto o imagen:
- Recupere los candidatos más relevantes y
- genere una respuesta, considerando, en ambas fases, que las imágenes adjuntas al documento de claim reviews también pueden proporcionar información relevante.