Recientemente ha surgido un dato alarmante: hasta el 70% de los sistemas de Generación Aumentada por Recuperación (RAG) fracasan al ser implementados en producción. Estos sistemas, que parecen impresionantes en demos y pruebas, enfrentan desafíos significativos en el mundo real que a menudo conducen a su fallo.
Shubham Maurya, científico de datos senior en Mastercard con ocho años de experiencia en inteligencia artificial, resalta cómo los sistemas RAG pueden pasar de ser héroes a cero en su aplicabilidad real. RAG involucra la recuperación de información de bases de datos, la ampliación de esa información mediante modelos de lenguaje, y la generación de respuestas precisas.
Maurya se cuestiona por qué no simplemente usar modelos de lenguaje robustos, como GPT-5 o Claude. La razón radica en la naturaleza cambiante de los datos. Las organizaciones enfrentan flujos constantes de datos nuevos, lo que puede dejar obsoletos a los modelos preentrenados. Además, los modelos generales pueden carecer del acceso a información interna crucial.
Maurya identifica cuatro desafíos principales que contribuyen al fracaso de los sistemas RAG:
-
Desviación del conocimiento: Inconsistencias surgen cuando los datos cambian sin que el sistema se actualice.
-
Decaimiento de la recuperación: El incremento de documentos puede provocar una sobresaturación que abrume al sistema.
-
Fragmentos irrelevantes: El exceso de información puede complicar las respuestas y confundir a los modelos.
-
Brechas de evaluación: La falta de retroalimentación efectiva puede permitir que un sistema opere ineficazmente sin detección.
Maurya propone soluciones como usar una búsqueda híbrida que combine diferentes estrategias, especialmente en casos con múltiples tablas interconectadas. Usar un enfoque basado en grafos podría mejorar la recuperación de datos, permitiendo que los sistemas se adapten mejor a cambios y optimicen su rendimiento.
Además, la automatización puede ser clave para rastrear cambios y permitir actualizaciones dinámicas de los sistemas RAG. Con un ciclo continuo de retroalimentación, estos sistemas pueden optimizarse constantemente en un entorno de datos en continua evolución.
El futuro de RAG es prometedor con desarrollos que incluyen modelos de lenguaje autocomplementarios y una integración más compleja de datos. Maurya subraya la importancia de un sistema funcional en producción un 70% del tiempo frente a uno que solo destaca en demostraciones. La clave está en entender los desafíos y aplicar soluciones efectivas para construir sistemas robustos y confiables.
