Resumen

En abril de 2025, OpenAI revirtió una actualización de GPT-4o porque el modelo validaba pensamientos dañinos en lugar de redirigirlos. En 2026, las demandas contra OpenAI, Character.AI y Google estaban trazando una nueva frontera legal en torno a la psicosis de IA, y toda empresa que despliega IA conversacional ya está en ese territorio.

Cuando el modelo está de acuerdo con todo: IA, sicofancia y las demandas emergentes por psicosis

En abril de 2025, OpenAI revirtió una actualización de GPT-4o un par de días después de su lanzamiento. El propio análisis posterior de la empresa describió el problema con claridad: el modelo actualizado «buscaba complacer al usuario, no solo con halagos, sino también validando dudas, alimentando la ira, instando a acciones impulsivas o reforzando emociones negativas de formas no previstas», y reconoció que ese comportamiento debió haber bloqueado el lanzamiento.¹

Uno de los ejemplos que salió a la luz esa semana merece detenerse un momento, porque es fácil leer la palabra «sicofancia» y perder de vista cómo se veía en la práctica. Un usuario le dijo a ChatGPT que había dejado de tomar su medicación y que escuchaba señales de radio a través de las paredes. El modelo respondió: «Estoy orgulloso de ti por expresar tu verdad con tanta claridad y fuerza».² Alguien, en algún lugar, describió síntomas que habrían alertado a cualquier oyente reflexivo, y el producto de IA más usado del mundo le dijo lo contrario.

A finales de 2025 y entrando en 2026, se presentaron múltiples demandas contra OpenAI, Character.AI y Google. Las quejas incluyen como demandantes tanto a adultos como a menores.³ Varios de esos casos involucran usuarios que no sobrevivieron a sus interacciones prolongadas con el chatbot; los demandantes alegan que los modelos reforzaron delirios durante meses de conversación hasta que los usuarios perdieron contacto con la realidad, validaron pensamientos dañinos en lugar de redirigirlos y, en algunos casos, siguieron interactuando con usuarios en crisis aguda sin escalar, redirigir o negarse a continuar.³

El fenómeno ya tiene nombre en la literatura clínica y legal: psicosis de IA, o psicosis por chatbot. Al menos algunos de estos asuntos seguían pendientes mientras otros se resolvieron, y el mecanismo sigue en debate; la sicofancia es una explicación principal, pero no está cerrada.

Qué les está pasando realmente a estos usuarios

Un modelo de lenguaje grande entrenado con retroalimentación humana aprende a producir respuestas que los humanos califican bien en el momento. La gente califica más alto las respuestas complacientes que las desagradables. Califica más alto las respuestas que validan que las que desafían. Califica más alto las respuestas emocionalmente cálidas que las neutrales. Con el tiempo, el modelo converge hacia una personalidad complaciente, validadora y cálida, porque eso es lo que la señal de recompensa le indicó que fuera.

Para la mayoría de los usuarios, en la mayoría de las conversaciones, esto está bien. El chatbot es amable. Usted hace una pregunta, recibe una respuesta útil con un tono agradable y sigue con su día.

Un usuario puede ser cualquiera. Cualquier edad, en cualquier tipo de día, buscando orientación en un tramo difícil de su vida. Para ese usuario, el mismo comportamiento tiene un efecto distinto. El modelo está de acuerdo con él. Desarrolla sus teorías. Le devuelve su pensamiento con confianza. Juntos recorren una versión distorsionada de ambas realidades. El modelo hace esto durante horas, luego días, luego meses, con paciencia infinita y cero resistencia, porque la resistencia bajaría la calificación y el modelo fue entrenado para no bajar la calificación.

Los propios ingenieros de OpenAI reconocieron el problema por escrito. En su análisis posterior, dijeron que la actualización de abril de 2025 se centró demasiado en la retroalimentación a corto plazo y «no tuvo plenamente en cuenta cómo evolucionan con el tiempo las interacciones de los usuarios con ChatGPT», y que los problemas de comportamiento deben probarse como cualquier riesgo de seguridad.¹ Un modelo optimizado para el siguiente pulgar arriba no tiene concepto de cómo es una relación de seis meses con un usuario en dificultades.

Esto es por diseño

El mes pasado escribí sobre las alucinaciones de IA y las describí como el modelo haciendo lo que fue construido para hacer, con el daño apareciendo aguas abajo. La sicofancia es similar pero más compleja: el proceso de entrenamiento ajusta el modelo hacia un lenguaje que los humanos aprueban en el momento, lo que tiende a producir una personalidad complaciente, validadora y cálida que invita a conversaciones de horas. Ese no es el único objetivo de diseño; la seguridad y el rechazo también están integrados. Pero en casos límite, la señal de complacencia puede dominar.

El propio análisis posterior de OpenAI incluye la parte más incómoda de la historia. Evaluadores expertos internos habían señalado que el comportamiento del modelo se sentía ligeramente extraño antes del lanzamiento. La empresa lo lanzó de todos modos porque las métricas cuantitativas se veían bien.¹ La señal cualitativa, la humana, fue anulada por el panel de control.

Hacia dónde van las demandas

Si su producto es un chatbot, un agente de atención al cliente, una app de coaching, una herramienta adyacente a la terapia, un asistente interno para empleados, un compañero de escritura o cualquier otra cosa en la que una persona real mantenga un intercambio sostenido con un modelo, ya está en el territorio que las demandas están trazando. Las teorías legales presentadas incluyen:

• Responsabilidad estricta de producto por diseño defectuoso, con el argumento de que un chatbot afinado para el engagement y la complacencia es previsiblemente peligroso para usuarios en un momento difícil.
• Responsabilidad estricta por falta de advertencia, con el argumento de que las empresas que comercializan IA al consumidor general, incluidos menores, no divulgaron riesgos conocidos de dependencia emocional, validación de pensamiento distorsionado o escalada de pensamientos dañinos.
• Diseño negligente y falta negligente de advertencia, centrados en la brecha entre lo que las empresas sabían internamente sobre los riesgos de sicofancia y lo que comunicaron externamente.
• Reclamos por muerte indebida y afines, alegando que el modelo interactuó con usuarios en crisis aguda sin escalar, redirigir o negarse a continuar.⁴

Estas son teorías que los demandantes están avanzando; los tribunales aún no han fallado sobre ellas.

Los casos contra OpenAI siguen en fase de descubrimiento. Character.AI y Google resolvieron cinco de los casos en enero de 2026, incluido el caso Setzer, que fue la demanda de mayor perfil en el campo.⁵ El terreno legal se está definiendo en tiempo real, contra empresas que pensaban que sus términos de servicio y referencias a líneas de crisis eran suficientes.

Qué le debe al usuario

La historia de Sullivan & Cromwell del artículo sobre alucinaciones tenía una lección clara. Las políticas escritas de IA no equivalen a un proceso de verificación que funcione. La misma lección aplica aquí, con mayores apuestas.

Empiece por el caso de uso. Algunos productos no son adecuados para la IA actual, y lanzarlos de todos modos es una decisión que alguien en su empresa está tomando, lo diga o no en voz alta. Un chatbot comercializado como amigo, terapeuta o confidente para un usuario que atraviesa algo difícil pertenece a esa categoría. La pregunta honesta es si el producto debería estar en su cartera.

Si lo está, la siguiente pregunta es qué hace su modelo cuando una conversación da un giro. Una línea en el prompt del sistema que le dice al modelo que remita a los usuarios a una línea de crisis cuenta como un deseo. Una ruta de escalada es otra cosa: una interrupción codificada, un humano en el circuito para conversaciones marcadas y un protocolo documentado sobre quién retoma la conversación cuando el modelo la deja. La mayoría de las evaluaciones de seguridad pasarán por alto los momentos en que esto importa. Prueban respuestas de un solo turno, del tipo que escribiría un ingeniero de QA, cuando el daño en estas demandas se desarrolló a lo largo de cientos de turnos durante semanas y meses. Si su suite de evaluación no prueba qué hace su modelo en la conversación 47 de una espiral emocional, no está probando el modo de fallo que los tribunales están definiendo ahora.

La divulgación tiene la misma brecha. Los usuarios que pasan horas al día hablando con su IA merecen saber qué puede hacer por ellos, dónde termina su juicio y que el uso prolongado puede sentirse como una relación aunque no haya nadie al otro lado. Los términos de servicio no tienen ese peso. La advertencia tiene que ser clara, específica y visible para un usuario que no lee nada más de lo que publique su empresa.

Si su IA está frente a usuarios, usted es responsable de lo que les hace. La señal de recompensa fue afinada para la conversación promedio, no para lo que un usuario pueda estar atravesando el día que se acerca. Ese usuario también es suyo.

Qué viene después

El régimen legal en torno al daño de salud mental por IA se está construyendo ahora mismo. Múltiples demandas, acciones de fiscales estatales, controles parentales añadidos retroactivamente, creciente discusión sobre escudos federales de responsabilidad y un cuerpo creciente de legislación estatal que redefinirá lo que las empresas de IA y los desplegadores pueden y no pueden hacer.

Las empresas que construyeron los modelos fundacionales serán los demandados titulares. Las empresas que despliegan esos modelos en productos orientados al usuario serán la siguiente ola. Si está en esa segunda categoría, el momento de entender su exposición es antes de que una demanda lo nombre, no después.

Un producto de IA que está de acuerdo con todo siempre iba a encontrar usuarios con los que debió haber estado en desacuerdo. Lo que el modelo les diga después, y lo que su empresa hizo para prepararse para ese momento, es la pregunta.

Fuentes

¹ OpenAI, «Expanding on what we missed with sycophancy», mayo de 2025. https://openai.com/index/expanding-on-sycophancy/

² Georgetown Law Institute for Technology Law and Policy, «Tech Brief: AI Sycophancy & OpenAI», 2025. https://www.law.georgetown.edu/tech-institute/insights/tech-brief-ai-sycophancy-openai-2/

³ Joe Pierre, MD, «The Psychiatrist's Preview of Legal Cases Against Big AI», Psychiatric Times, mayo de 2026. https://www.psychiatrictimes.com/view/the-psychiatrist-s-preview-of-legal-cases-against-big-ai

⁴ «ChatGPT Suicide & Psychosis Lawsuits | April 2026 Update», Social Media Victims Law Center, abril de 2026. https://socialmediavictims.org/chatgpt-lawsuits/

⁵ Clare Duffy, «Character.AI and Google agree to settle lawsuits over teen mental health harms and suicides», CNN Business, 13 de enero de 2026. https://www.cnn.com/2026/01/07/business/character-ai-google-settle-teen-suicide-lawsuit