Anthropic prohíbe la crueldad sostenida hacia sus modelos de IA

Anthropic actualizó la política de uso de Claude, su chatbot con Inteligencia Artificial, e incorporó una prohibición específica para la “crueldad sostenida e innecesaria” de los usuarios hacia sus modelos de IA.

La actualización, que entrará en vigor el 12 de noviembre, establece que el laboratorio de IA “añadió una prohibición de comportamientos abusivos o crueles, sostenidos e innecesarios”, según consigna la fuente. La medida se aplica solo a casos extremos donde los “usuarios repetidamente actúan cruelmente” y “sin ningún propósito discernible”.

Anthropic aclaró que la prohibición no afecta comportamientos habituales como frustración, desacuerdo, temas creativos oscuros o pruebas e investigación de modelos.

Anteriormente, la compañía había anunciado que desde Claude Opus 4 y 4.1 su chatbot podía terminar una conversación ante la actitud abusiva persistente de los usuarios en Claude.ai y Claude Code.

La tecnológica no dio explicaciones sobre el motivo de la prohibición y se limitó a describir la norma vinculándola a esa medida anterior.

Incertidumbre sobre si la IA siente

El laboratorio de IA ya admitió anteriormente que no sabe con certeza si sus modelos pueden llegar a “sentir” o no. En el anuncio sobre la capacidad de Opus 4 y 4.1 de finalizar conversaciones, señaló que sigue “teniendo mucha incertidumbre sobre el posible estatus moral de Claude y de otros modelos de lenguaje”.

Según The New York Times, Anthropic se reunió con líderes religiosos y filosóficos, incluso en el Vaticano. El papa León XIV declaró recientemente que la IA no siente ni sufre.

Cambios en política electoral

En las actualizaciones relacionadas con procesos electorales, Anthropic se centró específicamente en prevenir el engaño y la alteración de las elecciones, de cara a las elecciones de mitad de mandato de Estados Unidos en noviembre.

Renombró esta sección como “No socavar los procesos democráticos” para recordar que se prohíbe usar Claude para difundir desinformación sobre candidatos o sobre cómo votar, suplantar a candidatos o funcionarios electorales, o desincentivar la participación.

Eliminó la prohibición general del targeting personalizado de voto y campañas, que bloqueaba usos legítimos como el de una ONG que traduce información electoral, aunque los comportamientos maliciosos asociados siguen prohibidos en otras secciones de la política.

Otras prohibiciones incorporadas

El laboratorio de IA incluyó una nueva sección para prohibir las campañas engañosas y la actividad artificial, luego de detectar medios estatales, oficinas de propaganda gubernamentales y empresas que usaron su IA para gestionar cuentas falsas y webs de noticias inventadas.

Ahora prohíbe expresamente el desarrollo de software de guiado y control de armas, armar a drones y otros vehículos autónomos. En torno a la vigilancia, veta rastrear a personas sin su consentimiento o usar Claude para decidir o recomendar a quién investigar, detener o acusar.

Por último, si alguno de sus modelos controla equipos físicos autónomos capaces de causar lesiones, siempre tendrá que haber un operador con la capacidad de detenerlos.