Amazon Bedrock ha introducido innovaciones significativas en la gestión de costos para implementaciones de inteligencia artificial generativa. En una serie previa, Amazon presentó un sistema abocado a monitorear los costos en tiempo real, permitiendo a las organizaciones controlar su presupuesto destinado a la IA generativa mediante el seguimiento de tokens y presupuestos.
En esta nueva fase, se han implementado estrategias avanzadas que incluyen un sistema de vigilancia centralizado para limitar el uso de la IA dentro de presupuestos previamente establecidos. Estas mejoras destacan por introducir etiquetado personalizado, permitiendo una asignación más precisa de los costos, y el desarrollo de informes exhaustivos.
Una de las innovaciones más relevantes es el etiquetado a nivel de invocación, donde cada solicitud API recibe metadatos detallados, proporcionando un rastro de auditoría en registros de Amazon CloudWatch, útil para decisiones presupuestarias y análisis de uso en diversas aplicaciones. AWS Step Functions también se ha actualizado para sostener esta metodología.
Se ha modernizado la estructura de entrada de la API para permitir un etiquetado personalizado que incluya modelos específicos y configuraciones adaptables. Esta estructura ahora posee identificación de modelos, contenido de las peticiones, y un objeto de etiquetas para seguimiento a nivel de aplicación.
Un nuevo paso en el flujo de trabajo utiliza una función Lambda de AWS para verificar que cada solicitud se alinee con el modelo designado, asegurando que la información esté etiquetada correctamente para análisis posterior.
Con nuevas métricas personalizadas en CloudWatch, las organizaciones pueden seguir datos según diferentes variables como tipo de modelo y centros de costos, dando una imagen clara del uso de IA. También se han introducido perfiles de inferencia de aplicaciones para aplicar etiquetas personalizadas que mejoran el seguimiento de costos. Estos perfiles se generan mediante la CLI de AWS o APIs, añadiendo etiquetas como identificadores de departamento o equipo.
Herramientas como AWS Cost Explorer permiten visualizar y analizar gastos en la nube, segmentando por servicio, etiquetas, o dimensiones personalizadas. Esto facilita a las organizaciones desglosar gastos específicos de Amazon Bedrock por unidad de negocio o proyecto.
En conclusión, la combinación de vigilancia en tiempo real y exhaustivos reportes de costos otorga a las organizaciones el control necesario sobre sus recursos de inteligencia artificial, asegurando que sus proyectos avancen eficazmente y dentro del presupuesto previsto.
