Hoy se ha anunciado con entusiasmo la disponibilidad del NeMo Retriever Llama 3.2 Text Embedding y Reranking como microservicios de NVIDIA NIM en Amazon SageMaker JumpStart. Esta actualización permitirá a los desarrolladores implementar modelos optimizados de re-ranking y embeddings de NVIDIA, facilitando la construcción, experimentación y escalado responsable de ideas de inteligencia artificial generativa en la plataforma de Amazon Web Services (AWS).
Los microservicios de NVIDIA NIM están diseñados para integrarse de manera efectiva con servicios gestionados en AWS, como Amazon Elastic Compute Cloud (EC2), Amazon Elastic Kubernetes Service (EKS) y Amazon SageMaker. Este conjunto de microservicios fáciles de usar simplifica el despliegue de modelos de IA generativa a gran escala, soportando una amplia gama de modelos, desde los de código abierto hasta los modelos base de NVIDIA. Gracias a APIs estándar de la industria, los desarrolladores pueden integrar estas herramientas en aplicaciones de IA generativa utilizando solo unas pocas líneas de código o haciendo clic en la consola de SageMaker JumpStart.
Dentro de los nuevos microservicios, el NeMo Retriever text embedding se optimiza para la recuperación de preguntas y respuestas en múltiples idiomas y contextos lingüísticos, así como para el manejo de documentos largos de hasta 8,192 tokens. Este modelo ha demostrado ser eficaz en la evaluación de 26 idiomas, incluyendo inglés, español, árabe y chino, lo que facilita la recuperación de información de manera eficiente y con un marcado ahorro en la huella de almacenamiento de datos.
Por otro lado, el NeMo Retriever text reranking también está diseñado para manejar documentos extensos, proporcionando un puntaje logit que refleja la relevancia de un documento frente a una consulta específica. Este enfoque multilingüe y su capacidad para integrar documentos largos posicionan a estos modelos como herramientas valiosas para sistemas de búsqueda empresariales y aplicaciones de atención al cliente, que requieren resultados precisos y rápidos.
SageMaker JumpStart ofrece un servicio completamente gestionado que permite el uso de modelos de lenguaje avanzados para una variedad de aplicaciones, entre las que se incluyen la redacción de contenido, generación de código y respuesta a preguntas. Facilita la implementación rápida de modelos pre-entrenados y proporciona características como Amazon SageMaker Pipelines y Debugger, que optimizan el rendimiento y el control sobre las operaciones de aprendizaje automático.
Además, los microservicios NeMo Retriever se pueden descubrir y desplegar de forma programática a través del SDK de Python de Amazon SageMaker, permitiendo a los usuarios aprovechar características avanzadas de MLOps y controles sobre el rendimiento del modelo en un entorno seguro. Los datos se gestionan en una VPC (nube privada virtual), lo que refuerza la seguridad para cumplir con las necesidades de las empresas.
Con esta iniciativa, NVIDIA y AWS se posicionan como líderes en proporcionar soluciones que permiten a las empresas desplegar capacidades de búsqueda sofisticadas sin comprometer la eficiencia o la diversidad lingüística, creando aplicaciones que pueden servir a usuarios de todo el mundo con rapidez y precisión.
