El equipo de Inteligencia Artificial de Salesforce ha adoptado Amazon Bedrock Custom Model Import para mejorar el despliegue de modelos de lenguaje grande (LLMs). Antes de esta integración, el proceso de gestión de infraestructura era complejo y costoso, involucrando largas optimizaciones de instancias, motores de servicio y configuraciones. Este nuevo enfoque ha permitido al equipo enfocarse en el desarrollo de modelos y la lógica empresarial, reduciendo significativamente la carga operativa.
La implementación con Amazon Bedrock se realizó sin afectar las operaciones diarias, gracias a que Salesforce mantenía sus API y servicios de modelo sin cambios. La capacidad sin servidor de Amazon Bedrock ha permitido que la empresa mantenga su infraestructura existente, asegurando un despliegue sin interrupciones.
El proceso de implementación mejorado incluye un registro eficiente del modelo mediante el API de Amazon Bedrock Custom Model Import, después de almacenar los artefactos en un bucket de Amazon S3. Esto ha reducido el tiempo de despliegue a tan solo una hora, ya que Amazon Bedrock precarga los modelos, eliminando la necesidad de descargar pesos al iniciar.
Salesforce también ha llevado a cabo pruebas de carga que demostraron una reducción del 44% en la latencia bajo niveles bajos de concurrencia y un rendimiento consistente bajo cargas pesadas, gracias a la capacidad de autoescalado. Esta capacidad garantiza que el servicio pueda adaptarse rápidamente a las exigencias en tiempo real.
Desde una perspectiva operativa, Salesforce ha registrado una reducción del 30% en el tiempo necesario para iterar y desplegar modelos, además de un ahorro de costos de hasta el 40% debido al modelo de pago por uso. Esto es especialmente útil en entornos de desarrollo donde los recursos de GPU son utilizados solo en momentos de alta demanda.
Las lecciones aprendidas durante esta transición destacan la importancia de validar la compatibilidad del modelo previo a su despliegue y considerar los tiempos de inicio para modelos más grandes. Salesforce ofrece con su experiencia un ejemplo claro para abordar los desafíos operativos y de costos en proyectos de implementación a gran escala, sin comprometer el rendimiento final.
