
Optimiza el rendimiento de tu LLM con el contenedor de inferencia de modelos grandes de Amazon SageMaker v15
Hoy se ha presentado con gran entusiasmo la nueva versión 15 del contenedor de Amazon SageMaker Large Model Inference (LMI), que promete revolucionar el manejo de modelos de lenguaje de gran tamaño (LLMs) gracias a la incorporación de la versión 0.8.4 de vLLM y el soporte para el nuevo motor vLLM V1. Esta actualización no solo extiende su compatibilidad para