Amazon ha dado un paso significativo en la revolución del comercio digital con el lanzamiento de Rufus, un asistente de compras dotado de inteligencia artificial generativa. Este innovador asistente está diseñado para brindar a los compradores una experiencia enriquecida, ofreciendo respuestas detalladas y personalizadas basadas en datos tanto de Amazon como de fuentes externas.
Para hacer frente a la vasta cantidad de usuarios de la plataforma, Amazon ha implementado una infraestructura capaz de manejar modelos de lenguaje a gran escala, con baja latencia a nivel global. Esto se ha logrado mediante la integración de los servicios de Amazon Web Services (AWS) junto con los chips de inteligencia artificial Trainium e Inferentia. Estos chips, especialmente diseñados para acelerar las cargas de trabajo de aprendizaje profundo, ayudan a reducir los costos operativos en comparación con otros métodos tradicionales.
Uno de los principales desafíos durante el desarrollo de Rufus fue asegurarse de que el sistema pudiera gestionar los picos de demanda, como los que se producen en eventos especiales como el Prime Day. Para ello, se ha desarrollado un sistema de inferencia heterogéneo que utiliza múltiples Regiones de AWS, garantizando así no solo un aumento de capacidad durante los períodos de alta demanda, sino también una mayor resiliencia del sistema.
El asistente Rufus emplea un método conocido como Generación Aumentada por Recuperación, que mejora la calidad de las respuestas al extraer información adicional, proporcionando detalles más exhaustivos de los productos en base a las consultas del cliente. Además, el empleo de los chips Inferentia y Trainium permite que Rufus opere con una eficiencia energética un 54% superior a otras soluciones, apoyando así los compromisos de Amazon en materia de sostenibilidad.
Durante eventos de gran demanda, el sistema está diseñado para escalar y utilizar más de 80,000 chips, manteniendo una latencia media de respuesta inferior a un segundo. Este rendimiento se logra gracias a innovaciones como la arquitectura de streaming de inferencia, que envía tokens a los usuarios a medida que se generan, mejorando notablemente la experiencia de usuario.
La evolución continua de Rufus, fundamentada en los avances de la inteligencia artificial generativa y el feedback de los clientes, promete mejorar aún más la experiencia de compra. Esto refleja el compromiso de Amazon con la innovación tecnológica, orientada a optimizar el servicio y la satisfacción del cliente.
