Las organizaciones están adoptando modelos de base para sus operaciones de inteligencia artificial y aprendizaje automático, lo cual hace esencial la gestión eficiente de inferencias a gran escala. Amazon Bedrock, dentro de este contexto, ofrece soluciones de inferencia tanto en tiempo real como por lotes. Esta última opción es especialmente útil para procesar grandes volúmenes de datos donde los resultados inmediatos no son una prioridad.
La inferencia por lotes de Amazon Bedrock es una opción rentable, con un 50% de descuento comparado con el procesamiento bajo demanda, siendo ideal para tareas que manejan datos en gran cantidad sin requerimientos temporales críticos. No obstante, su implementación presenta retos como el manejo del formato de entrada, la gestión de cuotas de trabajo y la coordinación de tareas concurrentes. Por este motivo, los desarrolladores necesitan un marco que simplifique estos procesos.
Recientemente, se presentó una solución que propone un sistema escalable para orquestar la inferencia por lotes, adecuándose a la generación de embeddings para millones de documentos o la ejecución de evaluaciones con grandes datasets. La solución se estructura en tres fases: preprocesamiento de datos de entrada, ejecución paralela de trabajos de inferencia y postprocesamiento de resultados.
El sistema utiliza la administración de funciones de AWS, facilitando la preparación de datasets, la ejecución de trabajos en paralelo y el análisis de las salidas del modelo. Un ejemplo de aplicación es el análisis de datos provenientes del conjunto de datos SimpleCoT, diseñado para entrenar el razonamiento «chain-of-thought» en modelos de lenguaje mediante una variedad de problemas.
La arquitectura emplea componentes sin servidor para cubrir los requisitos específicos de los flujos de trabajo de procesamiento por lotes. Los inputs deben estar en formato JSONL en un bucket de Amazon S3, teniendo en cuenta las cuotas de datos según el modelo. Se emplean Step Functions para coordinar trabajos extensos, mientras Amazon DynamoDB gestiona el estado de cada tarea.
El sistema permite generar embeddings o respuestas de texto sin necesidad de un identificador de prompt para la mayoría de los modelos, asegurando que los archivos de entrada estén completos. Durante la ejecución, se conserva la organización y las salidas se integran de nuevo con los datos originales.
Esta arquitectura brinda a las empresas la oportunidad de utilizar un enfoque sin servidor para el procesamiento a gran escala, incentivando tanto la obtención de datos sintéticos como el etiquetado eficiente. La solución se encuentra disponible en un repositorio de GitHub para que los desarrolladores puedan adaptarla conforme a sus necesidades.
