En un entorno competitivo donde las organizaciones están cada vez más interesadas en implementar inteligencia artificial (IA) y aprendizaje automático (ML), un cliente especializado en soluciones de inteligencia de video basadas en modelos YOLOv8 enfrentó el desafío de optimizar el costo y el rendimiento de sus modelos de IA. Para abordar esta cuestión, decidió colaborar con Automat-it, socio Premier de AWS, con el objetivo de diseñar e implementar una plataforma en la nube de AWS utilizando Elastic Kubernetes Service (EKS).
La colaboración buscaba lograr una óptima escalabilidad y rendimiento del sistema al mismo tiempo que se reducían los costos. Inicialmente, cada modelo de IA requería operar en una instancia de GPU dedicada, lo cual derivaba en un uso ineficiente de recursos y altos costos operativos. Se fijó la meta de que el costo de la infraestructura en AWS no superara los 30 dólares por cámara al mes y que el tiempo total de procesamiento no excediera los 500 milisegundos.
La primera solución aplicada fue una arquitectura cliente-servidor que separaba las etapas de procesamiento. Sin embargo, esta configuración inicial resultó en costos mensuales de 353,03 dólares por cámara, lo que, a pesar del buen rendimiento obtenido, demandó una optimización adicional.
Para mejorar la eficiencia, Automat-it implementó un sistema de “time slicing” de GPU, el cual permite que múltiples modelos de IA compartan una única GPU, optimizando así el uso de los recursos. Esta estrategia se aplicó en el clúster de EKS por medio del plugin de NVIDIA para Kubernetes, lo cual facilitó la escalabilidad y redujo la carga operativa de manera significativa.
Después de varias pruebas y ajustes en la configuración, el resultado fue una reducción notable en los costos. Finalmente, el gasto por cámara se redujo a 27,81 dólares, marcando una disminución de más de doce veces respecto al enfoque inicial, sin comprometer el rendimiento de los modelos.
Este caso ejemplifica cómo la optimización de recursos en entornos de inteligencia artificial no solo permite a las empresas reducir costos, sino también mantener el nivel de servicio necesario para cumplir con las expectativas de sus clientes. La fusión de enfoques innovadores con tecnología en la nube ha demostrado ser un camino eficaz para mejorar la eficiencia operativa en la aplicación de modelos de IA.
