Amazon ha dado un paso significativo en la mejora del entrenamiento de modelos de lenguaje al anunciar la incorporación de dos nuevas plantillas de interfaz de usuario para sus clientes de SageMaker AI: «Text Ranking» y «Question and Answer». Estas herramientas están diseñadas para optimizar la calidad de los modelos de lenguaje mediante la obtención de comentarios específicos y estructurados de los usuarios.
La plantilla «Text Ranking» permite a los anotadores humanos clasificar varias respuestas generadas por un modelo de lenguaje grande (LLM) según criterios personalizados, como relevancia, claridad o precisión factual. Este proceso es esencial para refinar los modelos a través del aprendizaje por refuerzo guiado por retroalimentación humana (RLHF), con el objetivo de alinear las respuestas del modelo con las preferencias humanas.
Paralelamente, la plantilla «Question and Answer» facilita la creación de pares de preguntas y respuestas de alta calidad a partir de textos proporcionados. Estos pares sirven como datos de demostración para el ajuste fino supervisado (SFT), enseñando a los modelos cómo responder de manera precisa a entradas similares en el futuro.
Para configurar estas plantillas, es necesario acceder a la consola de SageMaker AI, donde se ha añadido una nueva categoría de «Generative AI» bajo el tipo de tarea. Los usuarios pueden crear trabajos de etiquetado especificando la ubicación del manifiesto de entrada y la ruta de salida, lo que simplifica el proceso de configuración.
El uso de la plantilla «Text Ranking» requiere un archivo JSON para detallar el contenido a clasificar, permitiendo así una evaluación estructurada. Los resultados anotados se almacenan en un bucket de S3 especificado por el usuario, posibilitando una evaluación continua del modelo.
La plantilla «Question and Answer» ofrece a los anotadores la capacidad de generar preguntas y respuestas pertinentes a partir de pasajes de texto. Esta modalidad soporta un formato flexible e incluye una función de coincidencia codificada por colores para ayudar a identificar rápidamente las secciones relevantes del texto.
Además de la interfaz gráfica, se ha desarrollado una API de Creación de Trabajos de Etiquetado, que permite configurar trabajos de clasificación de forma programática. Esto ofrece flexibilidad adicional y la posibilidad de integrarse en flujos de trabajo existentes, facilitando así su implementación.
Con estas nuevas funcionalidades, Amazon SageMaker AI busca empoderar a sus usuarios para que generen conjuntos de datos de alta calidad de manera más eficiente, mejorando así el entrenamiento y la evaluación de modelos de lenguaje que se adapten mejor a las necesidades y preferencias humanas.
