La latencia y el costo se han convertido en desafíos cruciales en el ámbito de la inteligencia artificial generativa, especialmente cuando se trata de modelos de lenguaje de gran tamaño (LLMs, por sus siglas en inglés). Estos modelos, al procesar texto de manera secuencial y predecir un token a la vez, pueden generar retrasos que deterioran la experiencia del usuario. Además, la creciente popularidad de las aplicaciones basadas en inteligencia artificial ha provocado un aumento significativo en el número de llamadas a estos modelos, lo que puede exceder las previsiones presupuestarias y generar tensiones financieras para las organizaciones.
En respuesta a este problema, se ha desarrollado una estrategia de optimización para aplicaciones basadas en LLM que promete ser más eficiente y rentable. La solución propuesta es un sistema de almacenamiento en caché de lectura intermedia sin servidor, que aprovecha los patrones de datos repetidos. Con este enfoque, los desarrolladores pueden almacenar y acceder a respuestas similares, optimizando tanto la eficiencia como los tiempos de respuesta de sus sistemas. Esta solución se basa en el uso de Amazon OpenSearch Serverless y Amazon Bedrock, un servicio que ofrece modelos avanzados de IA de diferentes empresas líderes a través de una única API, garantizando además la seguridad, la privacidad y la responsabilidad en la creación de aplicaciones de IA generativa.
La caché actúa como un intermediario que intercepta las solicitudes en lenguaje natural antes de que éstas lleguen al modelo principal, almacenando consultas que sean semánticamente similares. Esto permite una rápida recuperación sin tener que enviar nuevamente la solicitud al LLM, lo cual es esencial para lograr un equilibrio adecuado entre el aumento de aciertos en la caché y la reducción de colisiones.
Por ejemplo, en un asistente de IA para una empresa de viajes, se podría priorizar el almacenamiento de más respuestas para asegurar un alto recuerdo, aceptando ocasionalmente la superposición de solicitudes. En cambio, un asistente dirigido a consultas de agentes necesitaría asignaciones más precisas para cada solicitud, minimizando posibles errores.
El funcionamiento de este sistema de caché implica almacenar incrustaciones vectoriales numéricas de las consultas textuales, que son transformadas en vectores antes de ser almacenadas. Al utilizar modelos de incrustación gestionados desde Amazon Bedrock, se pueden crear bases de datos vectoriales con OpenSearch Serverless, construyendo así un sistema de caché robusto.
La implementación de esta solución no solo mejora los tiempos de respuesta, sino que también reduce de manera significativa los costos. Los modelos de incrustación suelen ser más económicos que los de generación, lo que asegura una eficiencia de costos en una amplia variedad de casos de uso.
Esta innovación no solo representa un avance en la eficiencia de los sistemas LLM, sino que también optimiza la experiencia del usuario, permitiendo ajustar los umbrales de similitud para equilibrar eficazmente los aciertos y las colisiones dentro de la caché.
