Los modelos de lenguaje de gran tamaño (LLMs) se han posicionado como una herramienta esencial en diversas industrias, facilitando mejoras en la interacción con clientes y la automatización de procesos empresariales. Sin embargo, su implementación en escenarios reales conlleva importantes desafíos relacionados con la precisión, la equidad, la relevancia y la proliferación de «alucinaciones», fenómeno donde los modelos producen información incorrecta o engañosa. Por esta razón, es crucial realizar evaluaciones exhaustivas del rendimiento y las salidas de estos modelos para mantener la confianza y seguridad en su uso.
La evaluación es fundamental en el ciclo de vida de las aplicaciones de inteligencia artificial generativa, similar al aprendizaje automático tradicional. Contar con metodologías de evaluación sólidas permite tomar decisiones bien fundamentadas sobre la elección de modelos y prompts. No obstante, la evaluación de los LLMs es compleja y requiere muchos recursos, debido a su habilidad para generar texto libre. La evaluación humana, aunque proporciona valiosos insights, es costosa y difícil de escalar, lo que ha impulsado la demanda de marcos de evaluación automatizados que sean escalables y puedan integrarse al desarrollo de aplicaciones, de manera similar a las pruebas unitarias y de integración en el software.
En respuesta a estos retos, se ha desarrollado un marco de evaluación automatizado que puede ser desplegado en AWS. Este sistema facilita la integración de múltiples LLMs, el uso de métricas de evaluación a medida y la monitorización continua del rendimiento de los modelos. Se han presentado métricas de evaluación denominadas «LLM como juez», utilizando los nuevos modelos de Amazon Nova, que ofrecen evaluaciones escalables gracias a sus avanzadas capacidades y baja latencia. Además, se incluye una interfaz amigable que simplifica su uso.
Antes de implementar procesos de evaluación para soluciones de inteligencia artificial generativa, es fundamental establecer métricas y criterios de evaluación claros, así como reunir un conjunto de datos representativos. Este conjunto de datos debe incluir muestras diversas y, de ser posible, valores de verdad generados por expertos. El tamaño del conjunto variará según la aplicación, pero debe incluir casos relevantes y variados. El desarrollo de este conjunto puede ser un proceso iterativo, mejorado continuamente con nuevas muestras y ejemplos donde el modelo tenga un desempeño deficiente.
Las métricas de evaluación se clasifican en tres áreas principales: basadas en latencia, que incluyen el tiempo de generación de respuesta; el costo, que refiere al gasto asociado con la generación de respuestas; y métricas de rendimiento, altamente dependientes del caso, cubriendo mediciones de precisión y consistencia fáctica.
La evaluación de un modelo puede llevarse a cabo mediante un flujo de trabajo que incluye evaluaciones en línea, manuales y cualitativas, así como evaluaciones automatizadas en lotes y cuantitativas. Este enfoque podría complicar la operación, por lo que es necesario emplear herramientas de comparación, servicios de gestión de prompts y servicios de inferencia a gran escala, entre otros.
Con la introducción de este sistema de evaluación automatizada de IA generativa en AWS, se pretende simplificar el proceso, mejorando la productividad de los equipos durante el ciclo de desarrollo. Esta solución no solo ofrece una evaluación eficaz de los modelos LLM en producción, sino que garantiza que las soluciones de inteligencia artificial generativa se mantengan actualizadas y optimizadas para cumplir con los estándares de precisión, equidad y relevancia.
