La inteligencia artificial generativa (GenAI) está revolucionando diversas industrias al acelerar operaciones y promover la innovación. Si bien las interacciones textuales a través de chat con GenAI son populares, su aplicación práctica a menudo depende de datos estructurados para APIs, bases de datos y tareas basadas en datos. La integración de datos estructurados también mejora la inteligencia conversacional, ofreciendo resultados más confiables y aplicables. No obstante, la naturaleza impredecible de los modelos de lenguaje de gran tamaño (LLMs) dificulta la generación de salidas estructuradas consistentes, como JSON.
El reto radica en que los LLMs se entrenan principalmente con texto no estructurado, como artículos y sitios web, y tienen pocas muestras de formatos estructurados. Esto provoca que los modelos enfrenten dificultades de precisión al generar salidas JSON, esenciales para integraciones fluidas en APIs y bases de datos. La capacidad de los modelos para reconocer tipos de datos y manejar jerarquías complejas varía, lo cual afecta la elección del modelo adecuado.
Para abordar estos desafíos, Amazon Bedrock, un servicio gestionado que ofrece acceso seguro a modelos avanzados de IA, presenta dos soluciones:
Ingeniería de prompts: Un método sencillo para producir salidas estructuradas mediante prompts bien diseñados.
- Uso de herramientas con la API Bedrock Converse: Un enfoque avanzado que ofrece mejor control, consistencia e integración nativa de esquemas JSON.
Un ejemplo práctico de análisis de reseñas de clientes muestra cómo Bedrock genera salidas estructuradas, como puntuaciones de sentimientos, utilizando código Python de manera simplificada. El proceso de ingeniería de prompts incluye pasos clave, como configurar el cliente Bedrock, crear un esquema JSON, elaborar un prompt con instrucciones claras, agregar datos de reseñas para análisis y activar Bedrock para procesar la respuesta.
La API Converse de Amazon Bedrock facilita conversaciones de múltiples turnos con modelos de IA generativa, permitiendo la integración del uso de herramientas. Esta funcionalidad soporta una incorporación directa del esquema JSON en las definiciones de herramientas, lo que facilita alinear las salidas con formatos predefinidos.
Pruebas detalladas realizadas en los modelos Claude de Anthropic mostraron que todos lograron más del 93% de éxito en la generación de respuestas estructuradas, resultando que el método de uso de herramientas superó a la ingeniería de prompts en efectividad. Estos resultados se obtuvieron en condiciones complejas, señalando que las futuras actualizaciones de los modelos seguirán mejorando su rendimiento.
En conclusión, se presentaron dos métodos para generar respuestas estructuradas con Amazon Bedrock: ingeniería de prompts y uso de herramientas. Cada enfoque ofrece ventajas y desventajas, así como aplicaciones distintas según las necesidades del usuario. La incorporación de datos estructurados es crucial para aprovechar al máximo la inteligencia artificial generativa en escenarios reales, como APIs y cargas de trabajo basadas en datos.
