En un innovador avance para la inteligencia artificial, Amazon SageMaker ha anunciado actualizaciones significativas para su herramienta de optimización de inferencia, diseñada para optimizar los modelos generativos de IA con mayor rapidez y eficiencia. Estas mejoras incluyen nuevas capacidades de decodificación especulativa, soporte para la cuantificación FP8, y la posibilidad de compilar con TensorRT-LLM, lo que permite una optimización más eficiente y una implementación más rápida de modelos de IA generativa en instancias de Amazon SageMaker.
Una de las actualizaciones clave es la incorporación de decodificación especulativa para los modelos Meta Llama 3.1, lo que acelera el proceso de inferencia. Esta técnica utiliza un modelo de lenguaje más pequeño y rápido para generar tokens candidatos que son validados posteriormente por un modelo objetivo más grande y preciso. Este método reduce significativamente el tiempo de generación de respuesta al permitir evaluaciones paralelas del modelo de enfoque.
Además, las mejoras incluyen soporte para la cuantización FP8 en modelos de aprendizaje profundo, que reduce el tamaño de los modelos y mejora la latencia de inferencia para GPUs. La FP8 ofrece ventajas como menor uso de memoria, mayor velocidad de cálculo y menor consumo de energía, siendo especialmente útil para componentes clave de los modelos como el KV cache y las capas lineales MLP.
La herramienta también se ha actualizado para permitir la compilación con NVIDIA TensorRT-LLM, optimizando modelos a través de la compilación anticipada. Esto disminuye el tiempo de despliegue del modelo y la latencia de autoescalado al eliminar la necesidad de compilación en tiempo real cuando el modelo se despliega en nuevas instancias.
Estas actualizaciones, junto con las capacidades preexistentes de la herramienta, permiten a los usuarios optimizar sus modelos de IA generativa rápidamente, de meses a horas, logrando un rendimiento de clase mundial para cada caso de uso. Los usuarios pueden aplicar las técnicas de optimización disponibles, validar las mejoras y desplegar los modelos a través de SageMaker con solo unos clics.
A medida que la tecnología avanza, estas mejoras posicionan a Amazon SageMaker como una de las principales herramientas para la implementación eficiente y optimizada de modelos de IA generativa, proporcionando a sus usuarios la capacidad de reducir costos y mejorar el rendimiento significativamente.
