La seguridad de la Inteligencia Artificial ha dejado de ser una discusión teórica para convertirse en un problema de desarrollo diario. No basta con que un modelo responda bien o que un agente complete una tarea: también hay que comprobar si filtra datos, si se deja manipular, si usa herramientas de forma indebida o si rompe las reglas fijadas por la empresa. En ese terreno ha ganado visibilidad Promptfoo, un proyecto open source que combina evaluación, red teaming y escaneo de vulnerabilidades para aplicaciones basadas en modelos de lenguaje, agentes y sistemas RAG.
El proyecto se presenta como una CLI y librería para probar prompts, agentes y pipelines de recuperación de contexto, con integraciones para distintos proveedores de modelos y con capacidad para automatizar pruebas dentro de entornos de CI/CD. En su repositorio oficial, Promptfoo se define como una herramienta para dejar atrás el enfoque de prueba y error y empezar a desplegar aplicaciones de IA más seguras y fiables. A fecha de la última captura indexada por GitHub, el proyecto ronda las 10.000 estrellas y supera los 800 forks, una cifra llamativa para una herramienta tan especializada.
Lo interesante es que Promptfoo no se limita a comparar respuestas de distintos modelos. También permite montar evaluaciones automáticas, ejecutar pruebas adversariales y generar informes sobre riesgos concretos en sistemas de IA. En la documentación oficial aparecen escenarios vinculados a prompt injection, jailbreaks, filtración de datos, uso inadecuado de herramientas y otras debilidades que hoy preocupan especialmente en agentes conectados a bases de datos, APIs o documentos internos.
Una herramienta pensada para pasar de la demo a producción
Promptfoo resulta especialmente útil para equipos que ya han superado la fase experimental. Cuando una empresa empieza a desplegar asistentes internos, copilotos o agentes con acceso a información real, el problema deja de ser solo si “funciona” y pasa a ser si se comporta de forma segura, repetible y auditable. La propuesta del proyecto consiste precisamente en sistematizar esas pruebas con configuraciones declarativas, ejecución desde línea de comandos y visualización posterior de resultados.
La entrada rápida que ofrece el propio repositorio es bastante directa: instalación por npm, opción de uso con brew, ejecución vía npx e incluso instalación mediante pip. A partir de ahí, el flujo básico consiste en inicializar un ejemplo, lanzar una evaluación con promptfoo eval y revisar los resultados con promptfoo view. Esa sencillez ayuda a explicar parte de su adopción: no obliga a comprar una plataforma cerrada desde el minuto uno, sino que permite empezar con un enfoque muy de desarrollador.
Otro de sus puntos fuertes es la compatibilidad con múltiples proveedores y modelos. El repositorio menciona comparativas lado a lado entre OpenAI, Anthropic, Azure, Bedrock, Ollama y otros entornos, algo especialmente útil para empresas que no quieren casarse con un solo proveedor o que necesitan medir rendimiento, seguridad y coste entre varias opciones. Promptfoo plantea así una mezcla poco habitual: herramienta de evaluación funcional, marco de red teaming y capa de control dentro del ciclo de desarrollo.
Por qué Promptfoo se ha vuelto relevante en 2026
La popularidad del proyecto no se entiende solo por su utilidad técnica, sino también por el momento de mercado. El auge de los agentes ha disparado la preocupación por los riesgos de la IA conectada a sistemas reales. La propia guía de red teaming de Promptfoo insiste en que, a medida que las arquitecturas se vuelven más complejas, aparecen nuevos problemas de acceso no autorizado, exfiltración de datos, abuso de herramientas y desviaciones de comportamiento. Su planteamiento encaja bien con un sector que ya no quiere únicamente modelos potentes, sino también herramientas para medir el riesgo antes de ponerlos en producción.
Ese cambio de percepción explica también por qué OpenAI anunció esta semana la compra de Promptfoo. En su comunicado oficial, la compañía dijo que integrará su tecnología dentro de OpenAI Frontier, su plataforma empresarial para agentes, con el objetivo de reforzar el testing de seguridad, la evaluación y el cumplimiento normativo. OpenAI también aseguró que el proyecto open source seguirá desarrollándose, una promesa importante para una herramienta que ha crecido precisamente por su utilidad abierta y por su encaje natural en equipos de ingeniería.
La operación da otra pista sobre el lugar que ocupa Promptfoo en el mercado actual. OpenAI sostiene que la tecnología y el equipo de Promptfoo ya son utilizados por más del 25 % de las empresas del Fortune 500, una cifra que la propia OpenAI emplea para justificar el valor estratégico de la adquisición. Aunque no deja de ser una afirmación comercial de la compradora, sí refuerza la idea de que la evaluación y el red teaming de IA han pasado de ser una práctica avanzada de laboratorio a una necesidad corporativa bastante más extendida.
Un proyecto open source con vocación muy práctica
Más allá de la operación corporativa, Promptfoo sigue destacando por su enfoque muy concreto. No promete resolver toda la seguridad de la IA por sí solo ni vender una visión abstracta del riesgo. Lo que ofrece son herramientas prácticas para generar ataques simulados, medir cómo responde una aplicación y decidir si el comportamiento entra dentro de lo aceptable. Esa aproximación más “de taller” explica por qué ha calado entre desarrolladores y equipos AppSec: convierte la seguridad de la IA en algo que se puede ejecutar, repetir y comparar.
También ayuda que el proyecto se mantenga cerca de la cultura open source tradicional. Su licencia es MIT, tiene documentación pública bastante amplia y se apoya en flujos reconocibles para la comunidad técnica: CLI, integración con pipelines, revisión de resultados y colaboración abierta. Incluso si parte del valor comercial termina desplazándose hacia productos empresariales más integrados, el repositorio sigue funcionando como una de las referencias más visibles para entender cómo se está profesionalizando el testeo de sistemas LLM.
En un ecosistema saturado de frameworks, wrappers y plataformas de agentes, Promptfoo ha conseguido destacar por una razón sencilla: no intenta ser el agente, ni el modelo, ni el orquestador universal. Intenta ser la herramienta que dice si todo eso se comporta como debería antes de que llegue a un usuario real. Y viendo el rumbo del sector, esa capa de control empieza a valer casi tanto como la propia Inteligencia Artificial que se despliega.
Preguntas frecuentes
¿Qué es Promptfoo y para qué sirve?
Promptfoo es una herramienta open source en formato CLI y librería que permite evaluar prompts, agentes y sistemas RAG, además de ejecutar red teaming y escaneo de vulnerabilidades en aplicaciones de IA.
¿Promptfoo funciona solo con OpenAI?
No. Su documentación y su repositorio indican compatibilidad con varios proveedores y entornos, incluidos OpenAI, Anthropic, Azure, Bedrock y Ollama, entre otros.
¿Se puede usar Promptfoo en CI/CD?
Sí. Uno de sus enfoques principales es automatizar comprobaciones de calidad, seguridad y cumplimiento dentro de pipelines de desarrollo y despliegue.
¿Seguirá existiendo Promptfoo como proyecto open source tras la compra de OpenAI?
Según el anuncio oficial de OpenAI, sí. La compañía afirma que continuará desarrollando el proyecto abierto mientras integra capacidades empresariales dentro de OpenAI Frontier.
