Con el desarrollo acelerado de la inteligencia artificial generativa y los grandes modelos de lenguaje, la demanda por soluciones de inferencia que sean eficientes y de baja latencia ha alcanzado un nuevo nivel. Los métodos tradicionales de inferencia frecuentemente no logran satisfacer estas exigencias, especialmente en contextos distribuidos y multi-nodo. Para solventar estas dificultades, NVIDIA ha lanzado Dynamo, un marco de trabajo de código abierto que busca optimizar el rendimiento y la escalabilidad de la inferencia.
NVIDIA Dynamo es compatible con diversos servicios de AWS, incluyendo Amazon S3, Elastic Fabric Adapter (EFA) y Amazon Elastic Kubernetes Service (EKS). Además, se puede implementar en instancias de Amazon EC2 aceleradas por GPU, tales como las nuevas versiones P6, potenciadas por la arquitectura NVIDIA Blackwell.
Este marco es independiente del motor de inferencia, permitiendo a los desarrolladores elegir componentes de servicios, servidores API frontend y bibliotecas de transferencia de datos según sus necesidades específicas. Entre sus principales características destacan la separación de las fases de prellenado y decodificación de los modelos de lenguaje, la optimización dinámica de recursos de GPU y un enrutador inteligente que minimiza la recomputación de datos para mejorar el rendimiento.
Una innovación clave de NVIDIA Dynamo es su «Planificador Dynamo», encargado de gestionar eficazmente los recursos de GPU en entornos de inferencia dinámica. Este elemento monitorea en tiempo real aspectos como tasas de solicitud y longitudes de secuencia, asignando los recursos necesarios de forma inteligente para un uso óptimo y adaptativo ante picos de demanda.
El «Enrutador Inteligente» facilita el uso de la memoria caché de clave-valor (KV), dirigiendo las solicitudes a los trabajadores que ya cuentan con los datos requeridos. Esto disminuye el tiempo de inferencia y hace más eficiente el uso de los recursos de GPU.
El «Gestor de Bloques KV» se enfrenta al reto de almacenar vastas cantidades de datos de referencia en la costosa memoria de alto ancho de banda de GPU. Implementa un sistema jerárquico que desplaza los bloques de caché menos solicitados a opciones de almacenamiento más económicas.
Incorporando NIXL, una biblioteca de comunicación, Optimize la transferencia de datos de alta velocidad entre GPU, crucial para mantener un desempeño elevado en implementaciones de IA distribuidas.
Amazon EKS se perfila como la plataforma ideal para cargas de trabajo de inferencia de modelos de lenguaje distribuidos, gracias a su sólida integración con otros servicios de AWS y sus características de rendimiento. Con el soporte de Karpenter para escalado automático y EFA para conectividad de baja latencia, la gestión de recursos se simplifica considerablemente.
A medida que las organizaciones exploran el potencial de la inteligencia artificial y los modelos de lenguaje, NVIDIA Dynamo emerge como una solución innovadora y eficiente, potenciando la capacidad de las empresas para maximizar sus inversiones en IA.
