Hoy estamos emocionados de anunciar la disponibilidad de los modelos Llama 3.2 en Amazon SageMaker JumpStart. Llama 3.2 ofrece modelos de visión multimodal y ligeros, representando el último avance de Meta en modelos de lenguaje grande (LLM). Estos nuevos modelos proporcionan capacidades mejoradas y una aplicabilidad más amplia en diversos casos de uso, enfocados en la innovación responsable y la seguridad a nivel de sistema. SageMaker JumpStart es un centro de aprendizaje automático que facilita el acceso a algoritmos, modelos y soluciones de ML, permitiendo a los usuarios empezar rápidamente con el aprendizaje automático.
En esta publicación, mostramos cómo descubrir y desplegar el modelo Llama 3.2 11B Vision usando SageMaker JumpStart. También compartimos los tipos de instancias compatibles y el contexto para todos los modelos Llama 3.2 disponibles. Aunque no se destaca en esta publicación, es posible utilizar los modelos ligeros junto con el ajuste fino utilizando SageMaker JumpStart.
Inicialmente, los modelos Llama 3.2 están disponibles en la región US East (Ohio) de AWS. Cabe señalar que Meta impone restricciones sobre el uso de los modelos multimodales si te encuentras en la Unión Europea. Para obtener más detalles, consulta el acuerdo de licencia comunitaria de Meta.
Llama 3.2 representa el último avance de Meta en LLMs, ofreciendo modelos en varios tamaños, incluyendo opciones multimodales grandes con parámetros de 11B y 90B, así como modelos ligeros de texto con parámetros de 1B y 3B, todos con una longitud de contexto de 128,000. Estos modelos están diseñados para realizar tareas de razonamiento sofisticadas, incluyendo el soporte multimodal para imágenes de alta resolución y son adecuados para dispositivos periféricos. Además, se presenta el nuevo modelo de parámetros Llama Guard 3 11B Vision, enfocado en la innovación responsable y la seguridad a nivel de sistema.
Llama 3.2 es el primer modelo Llama que soporta tareas de visión, integrando representaciones de codificadores de imágenes en el modelo de lenguaje. Con un enfoque en la innovación y la seguridad, estos modelos ayudan a construir y desplegar IA generativa de vanguardia, impulsando innovaciones como el razonamiento con imágenes y mejorando la accesibilidad para aplicaciones perimetrales. Además, estos modelos están diseñados para ser eficientes, reduciendo la latencia y mejorando el rendimiento, adecuados para una amplia gama de aplicaciones.
SageMaker JumpStart ofrece una amplia selección de modelos base públicos (FMs), sirviendo como potentes puntos de partida que pueden personalizarse para casos de uso específicos. Con SageMaker JumpStart, los modelos pueden desplegarse en un entorno seguro, incluidos los controles de VPC, asegurando la seguridad y el cumplimiento de los datos. SageMaker Inference y logs de contenedores facilitan la observabilidad, simplificando el proceso de despliegue de modelos.
Para probar los modelos Llama 3.2 en SageMaker JumpStart, se requieren ciertos requisitos previos. SageMaker JumpStart está accesible a través de SageMaker Studio o el SDK de Python de SageMaker, permitiendo descubrir y utilizar cientos de modelos específicos para distintos casos de uso. SageMaker Studio proporciona una interfaz unificada para todo el ciclo de vida del desarrollo de ML, desde la preparación de datos hasta la construcción, entrenamiento y despliegue de modelos.
Para desplegar un modelo Llama 3.2 11B Vision utilizando SageMaker JumpStart, sigue el siguiente código del SDK de Python de SageMaker:
from sagemaker.jumpstart.model import JumpStartModel
model = JumpStartModel(model_id="meta-vlm-llama-3-2-11b-vision")
predictor = model.deploy(accept_eula=accept_eula)Esto despliega el modelo en SageMaker con configuraciones predeterminadas. Puedes realizar inferencias contra el endpoint desplegado usando el predictor de SageMaker:
payload = {
"messages": [
{"role": "system", "content": "You are a helpful assistant"},
{"role": "user", "content": "How are you doing today?"},
{"role": "assistant", "content": "Good, what can I help you with today?"},
{"role": "user", "content": "Give me 5 steps to become better at tennis."}
],
"temperature": 0.6,
"top_p": 0.9,
"max_tokens": 512,
"logprobs": False
}
response = predictor.predict(payload)
response_message = response['choices'][0]['message']['content']Los modelos Llama 3.2 han sido evaluados en más de 150 conjuntos de datos de referencia, demostrando un rendimiento competitivo con los FMs líderes.
En resumen, esta publicación explora cómo SageMaker JumpStart capacita a científicos de datos e ingenieros de ML para descubrir, acceder y desplegar una amplia gama de FMs preentrenados, incluyendo los modelos más avanzados de Meta. Comienza hoy con SageMaker JumpStart y los modelos Llama 3.2 para innovar en el ámbito de la inteligencia artificial.
Para más información sobre SageMaker JumpStart, consulta las guías de configuración y uso disponibles en AWS.
