Amazon ha presentado recientemente Amazon Bedrock Model Distillation, una innovadora solución diseñada para enfrentar un desafío clave al implementar inteligencia artificial generativa: mantener un rendimiento de excelencia mientras se disminuyen costos y latencia. Esta técnica permite que el conocimiento de modelos de base más grandes (los «maestros») sea transferido a modelos más pequeños y eficientes (los «estudiantes»), creando soluciones especializadas que se destacan en tareas específicas. Se incorporan técnicas de aumento de datos avanzadas y mejoras de rendimiento, usando la familia de modelos Llama de Meta.
Una capacidad sobresaliente de esta nueva herramienta es la llamada a funciones, que permite a los modelos interactuar con herramientas externas, bases de datos y APIs, determinando con precisión cuándo y cómo invocar funciones específicas. Tradicionalmente, los modelos más grandes son los más efectivos para identificar las funciones adecuadas, pero su uso implica mayores costos y tiempos de respuesta. Mediante Amazon Bedrock Model Distillation, los modelos más pequeños pueden igualar la precisión en la llamada a funciones, ofreciendo tiempos de respuesta más rápidos y costos operativos más bajos.
El valor añadido es significativo: las organizaciones pueden implementar agentes de IA que ofrecen alta precisión en la selección de herramientas y la construcción de parámetros, con un menor tamaño y mayor rendimiento. Esto mejora la accesibilidad económica de arquitecturas complejas en una amplia gama de aplicaciones.
Para implementar Amazon Bedrock Model Distillation, se requieren ciertos elementos: una cuenta activa de AWS, modelos maestro y estudiante adecuados, un bucket de S3 para almacenar datos y artefactos, y los permisos de IAM necesarios.
La preparación eficaz de datos es fundamental para el éxito. Amazon Bedrock proporciona dos métodos principales para preparar datos de entrenamiento: subir archivos JSONL a Amazon S3 o utilizar registros de invocación históricos. Las especificaciones de herramientas deben estar bien formateadas para permitir una destilación exitosa.
Las mejoras introducidas por Amazon Bedrock Model Distillation incluyen un soporte de modelos más amplio y tecnología avanzada de síntesis de datos, que genera ejemplos de entrenamiento adicionales para mejorar la capacidad del modelo. Además, la transparencia en el proceso de entrenamiento ha mejorado, permitiendo a los usuarios visualizar cómo se entrenó su modelo y recibir informes detallados sobre prompts aceptados y rechazados.
Las evaluaciones demuestran que los modelos destilados para el uso de llamadas a funciones pueden alcanzar una precisión similar a modelos significativamente más grandes, pero con tiempos de inferencia más rápidos y costos operativos reducidos. Esto facilita una implementación escalable de agentes de IA capaces de interactuar con herramientas y sistemas externos en diversas aplicaciones empresariales. La combinación de precisión, velocidad y eficiencia de costos es crucial para los desarrolladores que buscan maximizar el potencial de la inteligencia generativa en sus aplicaciones.
