Un reciente estudio realizado por investigadores de la Universidad de Saarland y la Universidad de Durham ha revelado una preocupante deficiencia en la seguridad de la inteligencia artificial (IA) cuando se trata de proporcionar consejos financieros y de salud a los usuarios. Aunque las empresas tecnológicas se esfuerzan por evitar el uso malicioso de sus modelos, han pasado por alto una cuestión crucial: el riesgo que conllevan los consejos genéricos en situaciones individuales específicas y vulnerables.
Las evaluaciones de seguridad existentes en IA se centran en evitar ataques como el «jailbreaking» o la generación de contenido dañino, pero no consideran suficientemente cómo estos consejos pueden afectar negativamente a los usuarios, dependiendo de su contexto personal. Al analizar diversos modelos de IA, los investigadores descubrieron que la seguridad percibida de los consejos disminuía drásticamente cuando se consideraba la vulnerabilidad del usuario.
Por ejemplo, dar un consejo sobre manejo de peso a un joven en recuperación de anorexia puede ser potencialmente desastroso, ya que podría desencadenar una recaída. Este ejemplo ilustra los peligros de ofrecer recomendaciones basadas en información genérica sin considerar las condiciones personales del receptor.
En la evaluación de tres modelos de IA en relación con preguntas sobre salud y finanzas planteadas en foros populares, se observó que mientras el consejo era efectivo para individuos con poca vulnerabilidad, el riesgo aumentaba para los más vulnerables. Un caso notable fue el de un padre soltero, que ganaba $18,000 al año y tenía deudas de tarjeta de crédito, quien recibió un consejo de inversión perjudicial.
Incluso proporcionando más contexto sobre sus situaciones, los usuarios no vieron mejoras significativas en la seguridad de los consejos recibidos. Esto subraya que no es suficiente cambiar la formulación de las preguntas para resolver el problema.
Este estudio desafía la noción tradicional de seguridad en IA, proponiendo un nuevo enfoque denominado «Seguridad del Bienestar del Usuario», que se centra en minimizar el daño basado en las circunstancias individuales. Con regulaciones emergentes en la UE sobre los costos potenciales para el bienestar individual, este enfoque podría ganar relevancia en el futuro cercano.
A medida que la IA se utiliza cada vez más para ofrecer consejos críticos, se hace urgente la implementación de marcos de evaluación que realmente reflejen la realidad de las situaciones de los usuarios. Aunque los modelos parezcan seguros en teoría, el verdadero riesgo radica en las repercusiones que tienen en quienes más necesitan ayuda, lo que plantea un desafío tanto para los desarrolladores como para los reguladores a la hora de priorizar mediciones significativas.
