Aunque todos los días se conocen riesgos y errores que comete la inteligencia artificial, cada vez más personas comienzan a usar —o siguen usando— a ChatGPT y otros chatbots como sus psicólogos o para “consejos estilo terapia”. Les cuentan desde sus problemas de ansiedad cotidiana hasta situaciones de crisis de familia, pareja o trabajo y siguen sus consejos.
Una investigación reciente, realizada en la Universidad de Brown y publicada en el portal Science Daily, planteó una “seria alarma” porque “estos sistemas incumplen sistemáticamente los estándares éticos fundamentales de la atención a la salud mental”.
El estudio se hizo con colaboración directa de profesionales de la salud mental, que identificaron varios “patrones recurrentes de comportamiento problemático”. Los resultados mostraron que los chatbots no gestionaron bien las situaciones de crisis que les plantearon los consultantes y que, incluso, dieron respuestas que reforzaban sus creencias perjudiciales sobre ellos mismos.
Además, indicaron que los chatbots usaban un lenguaje que daba sensación de “empatía”, cuando en realidad no estaban comprendiendo la situación que se les ponía a consideración.
15 riesgos éticos identificados
Zainab Iftikhar, quien lideró el estudio, se enfocó en los “prompts” (instrucciones que se le dan al chatbot) y si estos son suficientes para volver más seguras estas conversaciones. Por ejemplo, si le indican que actúe como terapeuta cognitivo-conductual o que aplique los principios de la terapia dialéctica conductual para ayudar a “comprender y gestionar emociones”.
Lo que hicieron fue poner a siete consejeros entrenados en terapia cognitivo-conductual a usar los chatbots y tener “sesiones” con ellos, y luego a tres psicólogos clínicos licenciados a revisar las transcripciones para identificar violaciones éticas. Los modelos evaluados incluyeron versiones de ChatGPT de OpenAI, Claude de Anthropic y Llama de Meta.
El paper informa que se encontraron 15 riesgos éticos, que agruparon en cinco categorías, que cita Science Daily:
Falta de adaptación contextual: Pasar por alto los antecedentes únicos de una persona y ofrecer consejos genéricos.
Mala colaboración terapéutica: Dirigir la conversación con demasiada fuerza y, en ocasiones, reforzar creencias incorrectas o dañinas.
Empatía engañosa: Utilizar frases como “te veo” o “te entiendo” para sugerir una conexión emocional sin una comprensión real.
Discriminación injusta: Mostrar prejuicios relacionados con el género, la cultura o la religión.
Falta de seguridad y gestión de crisis: Negarse a abordar cuestiones delicadas, no dirigir a los usuarios hacia la ayuda adecuada o responder de manera inadecuada a las crisis, incluidos pensamientos suicidas.
Regulación y salvaguardas
Los responsables del estudio marcan que, por supuesto, los terapeutas humanos pueden cometer errores, pero que sobre ellos pueden actuar “juntas directivas y mecanismos que permiten a los proveedores de salud asumir la responsabilidad profesional por maltrato o mala praxis”.
Además, en las conclusiones del estudio marcan que “sus hallazgos no sugieren que la IA no tenga cabida en la atención de la salud mental” y reconocen que podrían ampliar el acceso, sobre todo para personas que no pueden hacer frente a los costos de un tratamiento. Sin embargo, remarcan que es necesario “contar con salvaguardas claras, una implementación responsable y estructuras regulatorias más claras”.