La construcción de un stack de inteligencia artificial agentiva es comparable a erigir un rascacielos en un terreno sísmico. En un mundo donde las GPU se transforman, los marcos se actualizan y los modelos mejoran constantemente, integrar estas nuevas tecnologías con sistemas preexistentes se convierte en un desafío monumental. Este proceso exige especial atención a las bases inmutables, cruciales para el éxito de cualquier proyecto en este ámbito.
Recientemente, se compartió una experiencia clave al construir un stack agentivo para StartUp Play, un agregador de plataformas OTT. Este caso ofrece una visión clara de lo que funciona, lo que no y lo que se debe considerar al incursionar en este campo.
Desde las arquitecturas monolíticas empleadas por gigantes como Prime Video, el panorama ha evolucionado hacia microservicios y arquitecturas sin servidor. En la presente era de la inteligencia artificial nativa, la incorporación de capacidades de razonamiento y modelos de lenguaje a gran escala hace de la integración el desafío más destacado.
Un stack agentivo consta de múltiples capas indispensables: comenzando por las interfaces API, avanzando a la capa de orquestación, los modelos de lenguaje y terminando con las capas de memoria y contexto. La acción se ejecuta mediante herramientas y APIs que permiten la interacción real, siempre bajo un estricto control de datos.
Un aspecto fundamental es que los microservicios deben ser sin estado, utilizando soluciones como Kafka o Redis para asegurar la escalabilidad. Un objetivo logrado en este entorno fue desarrollar un sistema apto para manejar un millón de transacciones por segundo, destacando la necesidad de una arquitectura bien concebida desde el principio.
A través de la experiencia, se han identificado cinco enfoques distintos para construir un stack agentivo, desde sistemas empresariales existentes hasta la implementación de sandboxes para agentes. Cada enfoque ofrece diferentes beneficios, desde eficiencia en el uso de tokens hasta la estandarización de herramientas.
Los casos de uso desarrollados para la plataforma OTT subrayan la importancia de la flexibilidad arquitectónica. Modelos implementados para mejorar metadata y recomendaciones evidencian que, aunque los marcos cambian, la información recabada permanece valiosa a largo plazo.
La gestión de datos es crucial, estructurándose en tres niveles: datos de sesión, múltiples sesiones y datos a largo plazo, garantizando que cada información se capture y orqueste correctamente para sustentar futuras implementaciones.
El dilema entre construir o comprar se presenta como un aspecto estratégico clave. Es necesario decidir qué componentes desarrollar internamente y cuáles adoptar de las soluciones existentes, impactando directamente en la eficacia y competitividad organizacional.
Finalmente, se resalta la importancia de integrar puntos de contacto de manera modular y sustituible, adaptándose a cambios constantes en modelos y plataformas, asegurando así la sostenibilidad del sistema a largo plazo. En un entorno tecnológico en constante evolución, construir un stack que capture y aproveche el valor de la data generada es esencial.
Aunque construir un stack agentivo representa un desafío, ofrece una oportunidad significativa para las empresas dispuestas a adaptarse y evolucionar. Al final, el valor creado y los problemas resueltos se convierten en activos perdurables, independientemente de la tecnología utilizada.
