Amazon ha dado un nuevo paso en el ámbito de la inteligencia artificial al introducir un conjunto de funciones avanzadas en su plataforma SageMaker AI, destinadas a elevar las capacidades de evaluación de modelos de aprendizaje automático. Estas innovaciones están orientadas a proporcionar herramientas flexibles y precisas a los desarrolladores, permitiéndoles ajustar las evaluaciones a sus necesidades específicas.
Una de las características más destacadas es la introducción de métricas personalizadas que capacitan a los usuarios para establecer criterios de evaluación ajustados a sus exigencias particulares. Por ejemplo, pueden desarrollar métricas que midan la empatía de un modelo en servicios al cliente o la precisión en un contexto médico, brindando a los equipos la capacidad de adaptar sus evaluaciones a sectores específicos.
El lanzamiento también incluye la innovadora función «LLM-as-a-Judge», que permite realizar evaluaciones subjetivas a través de comparaciones entre pares, explicando las razones detrás de cada elección. Esta herramienta es especialmente valiosa para tareas complejas, donde las justificaciones son igual de importantes que las clasificaciones finales.
Además, la captura de probabilidades logarítmicas ofrece un análisis detallado de la confianza del modelo en cada token emitido, esencial para la calibración de modelos y decisiones de estrategia de respuestas. Este sistema permite a los equipos gestionar umbrales de calidad y anticipar problemas antes de que repercutan en los entornos de producción.
El análisis de metadatos también ha sido mejorado, permitiendo la conservación de información adicional sin necesidad de procesamiento adicional. Esto facilita un análisis detallado de los resultados, segmentando por clientes, dominios y otros criterios, enriqueciendo el proceso evaluativo.
Para aquellos que manejan grandes volúmenes de datos, SageMaker ahora permite la ejecución en múltiples nodos, distribuyendo las cargas de trabajo efectivamente y asegurando consistencia en los resultados, incluso en ambientes masivos.
Integrando estas funciones, los equipos pueden realizar evaluaciones mediante archivos JSONL almacenados en Amazon S3 y gestionarlos mediante trabajos de entrenamiento en SageMaker. Los resultados estructurados pueden ser fácilmente integrados en herramientas de análisis como Amazon Athena y AWS Glue, lo que ofrece a las empresas un camino eficiente hacia la adopción de tecnologías de inteligencia artificial generativa.
