Amazon SageMaker AI ha dado un paso significativo en la evolución de la inteligencia artificial generativa, presentando una nueva técnica denominada EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency). Esta innovación busca optimizar la inferencia de modelos de lenguaje avanzados, permitiendo que las decodificaciones sean no solo más rápidas sino también más eficientes.
El uso de EAGLE acelera la decodificación al anticipar tokens futuros directamente desde las capas internas del modelo, lo que se traduce en inferencias que reflejan mejor las cargas de trabajo de los usuarios en lugar de depender de estándares genéricos. Este enfoque ofrece inferencias más rápidas y ajustadas a las necesidades reales de las aplicaciones.
SageMaker AI ha incorporado soporte para las versiones EAGLE 2 y EAGLE 3, adaptándose a diversas arquitecturas de modelos. Los usuarios pueden empezar con conjuntos de datos proporcionados por SageMaker o emplear los suyos propios para afinar el modelo, utilizando herramientas como Data Capture, que permite recopilar datos a partir de solicitudes en tiempo real dirigidas al modelo.
Esta técnica de decodificación especulativa no compromete la calidad, ya que utiliza un modelo base más pequeño para generar tokens preliminares que luego verifica el modelo objetivo. Al aplicar EAGLE, se mejoran los resultados reutilizando características del modelo destino, siempre y cuando se seleccione adecuadamente el modelo base.
EAGLE impulsa el modelo para funcionar como su propio simulador, examinando sus representaciones internas para prever múltiples tokens futuros en paralelo. Esto no solo reduce los tiempos de inferencia, sino que también mejora notablemente la precisión de las predicciones. Además, libera los cuellos de botella de memoria, optimizando el rendimiento global.
Con SageMaker, los usuarios tienen la flexibilidad de construir o refinar modelos EAGLE desde cero, utilizar datos abiertos proporcionados por la plataforma, o partir de un modelo preexistente. SageMaker JumpStart ofrece además modelos EAGLE preentrenados, facilitando la optimización inmediata.
Estas mejoras específicas, derivadas de la optimización con conjuntos de datos propios, se traducen en un rendimiento optimizado de extremo a extremo. La herramienta está diseñada para ayudar a los desarrolladores en la creación de aplicaciones generativas con menor latencia y mayor escalabilidad, lo que resulta en un ahorro significativo de tiempo y recursos en el procesamiento de datos.
