Estudio advierte que chatbots de IA citan papers científicos retractados

Un nuevo reporte advierte que muchos chatbots podrían estar aprendiendo de papers científicos retractados, sin advertirlo a los usuarios.

Según informó el Instituto Tecnológico de Massachusetts (MIT, por sus siglas en inglés), la dificultad para diferenciar entre artículos válidos y aquellos retirados hace que los modelos de IA se apoyen en fuentes desacreditadas. Aunque existen bases de datos de retractaciones, no siempre son detectadas y, en algunos casos, el chatbot incluso elogia estudios que fueron invalidados.

Un estudio citado en el LSE Impact Blog mostró cómo un chatbot pasó por alto advertencias de retractación, incluso cuando figuraban en la primera página del paper. El sistema llegó a confirmar afirmaciones falsas contenidas en esas investigaciones, rechazando declaraciones apenas en el 1,1% de los casos. Para los investigadores, el problema radica en que los modelos no fueron entrenados para identificar avisos de retractación, algo que un lector humano detectaría con facilidad.

El riesgo es evidente en áreas sensibles como la salud. Al no distinguir entre estudios válidos y retirados, los chatbots pueden difundir información médica incorrecta, amplificando el alcance de papers que ya habían sido descartados por la comunidad científica.

La organización Alliance for Science reportó que en 2023 se registraron más de 10.000 papers retractados en todo el mundo. Lo preocupante es que esos artículos fueron citados más de 35.000 veces por sistemas de inteligencia artificial.

Los especialistas señalan que la única forma de evitar errores es verificar las fuentes que utiliza la IA, especialmente en temas críticos. Aunque el proceso es más lento, se considera la estrategia más segura para quienes recurren a chatbots en decisiones relevantes.