Resumen
Cuando Sullivan & Cromwell pidió disculpas a un juez federal por errores generados por IA en un escrito judicial, la noticia dio la vuelta al mundo, pero el mismo patrón se repite en todos los sectores. Las alucinaciones son una característica de cómo funcionan los LLM; el riesgo real está aguas abajo, cuando las personas tratan la salida plausible como un hecho sin verificarla.
Diagnosticar las alucinaciones de IA: ¿tratamiento o flujo de trabajo?
En abril de 2026, Sullivan & Cromwell, uno de los bufetes de abogados más prestigiosos de Estados Unidos, presentó una disculpa pública ante un juez federal de quiebras tras enviar una moción que contenía errores generados por IA y citas fabricadas. El bufete cuenta con más de 900 abogados. Sus socios cobran, según se informa, más de 2.000 dólares la hora.
La disculpa indicaba que no se habían seguido las políticas internas de uso de IA y que el proceso de revisión de citas del bufete no detectó el contenido fabricado antes de presentar el escrito.¹ Un bufete de 900 abogados con formación obligatoria en IA, seguimiento de completados y manuales internos que dicen a los abogados «no confíes en nada y verifica todo» terminó igualmente redactando esa carta. La ironía es difícil de ignorar: un bufete que ha asesorado a OpenAI en asuntos importantes vio fallar su proceso interno de verificación en una moción de quiebras rutinaria.
Solo en el primer trimestre de 2026, los tribunales estadounidenses impusieron al menos 145.000 dólares en sanciones en casos relacionados con fabricaciones en escritos judiciales vinculadas a la IA. La base de datos de seguimiento del investigador Damien Charlotin ya registra cerca de 1.500 casos reportados a nivel global.
La mayor parte de la cobertura de estas historias las trata como un problema de abogados. El encuadre es demasiado estrecho. Los tribunales llevan registros, por eso los fallos en la sala aparecen en las noticias. El mismo patrón ocurre en todas las empresas que usan IA, solo que sin registro público.
Qué significa realmente una alucinación
La palabra sugiere un mal funcionamiento, pero ese encuadre sigue confundiendo a la gente.
En lugar de recuperar información, un modelo de lenguaje grande predice la siguiente palabra plausible según patrones estadísticos aprendidos durante el entrenamiento. Cuando la respuesta está bien representada, la salida puede parecer conocimiento. Cuando la respuesta falta o está mal fundamentada, el modelo puede seguir produciendo texto que encaja con la forma de una respuesta correcta sin serlo. Eso es una característica de cómo funciona el sistema: el modelo hace lo que fue diseñado para hacer.
Una vez que eso queda claro, las noticias legales dejan de sorprender. El modelo generó casos que suenan a casos reales porque generar lenguaje plausible es toda su función.
Por qué debería importarle
Un modelo que produce con confianza texto con la forma de una cita legal correcta pero que no lo es genera riesgo de responsabilidad. Quizá usted no presente escritos judiciales, pero sigue usando IA, o su equipo, o sus proveedores. A menudo los tres.
- Su equipo de operaciones redacta correos para clientes con ChatGPT y pega respuestas de cumplimiento que nadie verificó contra una política real.
- Su desarrollador acepta sugerencias de código de Copilot que referencian bibliotecas que pueden no existir, tener términos de licencia poco claros o introducir una vulnerabilidad difícil de rastrear hasta su origen.
- Su herramienta de gestión de proyectos añadió una función de resumen con IA y actualizó sus términos de servicio. Usted hizo clic en aceptar. Esa función ahora interpreta conversaciones con clientes y genera tareas que alguien aguas abajo trata como el registro oficial.
En cada caso, la exposición real está aguas abajo. Alguien está tratando la salida como un hecho.
La exposición legal es real
La Ley de Privacidad y Seguridad de Datos de Texas no distingue entre un aviso de privacidad redactado por un humano y uno generado por un modelo: le importa si el aviso es exacto.
La FTC lanzó Operation AI Comply y ha iniciado acciones de cumplimiento contra empresas por reclamos de marketing engañosos relacionados con IA, y algunas aseguradoras de ciberriesgos han empezado a añadir exclusiones o condiciones más estrictas para pérdidas vinculadas a contenido generado por IA sin verificar.
Luego están los contratos. La mayoría de los acuerdos con proveedores firmados antes de 2024 no contienen cláusulas específicas sobre IA. Los proveedores han añadido funciones de IA, actualizado sus términos, y la versión aceptada automáticamente ahora rige cómo se procesan los datos de sus clientes.
Si un modelo entrenado con esos datos produce algo que termina en una salida orientada al cliente, la pregunta de quién es responsable no tiene una respuesta cómoda.
Cómo se ve la competencia hoy
La disculpa de Sullivan & Cromwell dejó una cosa clara: una política escrita de IA no equivale a un proceso de verificación que funcione, y un número creciente de tribunales federales exigen ahora la divulgación del uso de IA en los escritos presentados.³ El mismo estándar ya está presente en salud, servicios financieros y contratación pública. El resto de industrias reguladas viene detrás.
El uso responsable de IA es un conjunto de prácticas:
- Verificación antes de entregar. Cada salida, siempre, especialmente cuando el destinatario es un cliente, un regulador, un tribunal o una contraparte.
- Responsabilidad asignada. Si nadie tiene asignada la verificación, nadie la hará. El rol tiene que figurar en algún lugar del organigrama.
- Revisión de proveedores. El acuerdo que firmó hace dos años ha sido reemplazado en silencio. Lea el vigente.
- Modelo mental correcto. Las herramientas de IA generan texto. La verificación es un paso separado que alguien debe hacer. Trate la salida como plausible hasta demostrar que es cierta.
El punto es usar bien la IA. Las herramientas son demasiado útiles para ignorarlas, y las empresas que fingen lo contrario pierden terreno cada trimestre. Lo que importa es qué hace con el tiempo que la IA le ahorra. Inviértalo en verificación y la velocidad se multiplica a su favor. Inviértalo en publicar más rápido sin revisar, y los minutos ahorrados se acumulan como una responsabilidad que se resuelve con sanciones, acuerdos perdidos, cobertura anulada o un cliente que nota que los términos de su contrato y su aviso de privacidad ya no coinciden.
El cambio de perspectiva
Las alucinaciones son el modelo haciendo su trabajo, que es generar lenguaje plausible. El fallo, cuando ocurre, está del lado humano.
El abogado que no leyó el escrito. El fundador que no comprobó la respuesta de cumplimiento. El responsable de operaciones que dejó que un proveedor cambiara los términos sin señalarlo. La IA no inventó una nueva categoría de riesgo: las categorías existentes simplemente se volvieron más baratas de activar.
Si su equipo usa IA, el trabajo consiste en ser específico sobre quién verifica qué, cuándo y contra qué fuente. Ese es todo el juego.
El diagnóstico
Un abogado que usa una herramienta legal de IA correctamente fundamentada con verificación de citas integrada verá muchos menos casos falsos que uno que pega una pregunta en ChatGPT sin más. Eso ya es cierto hoy y lo será aún más.
Las alucinaciones en uso abierto, del tipo en que alguien hace una pregunta general al modelo sin recuperación ni verificación, no van a desaparecer. El modelo no puede distinguir de forma fiable entre recuerdo fluido e invención fluida, y no hay una solución arquitectónica simple para eso en uso abierto hoy.
Fuentes
¹ Reuters, «Sullivan & Cromwell Law Firm Apologizes for AI 'Hallucinations' in Court Filing», abril de 2026. https://www.tradingview.com/news/reuters.com,2026:newsml_L1N4140K7:0-sullivan-cromwell-law-firm-apologizes-for-ai-hallucinations-in-court-filing/
² ComplexDiscovery, «The AI Sanction Wave: $145K in Q1 Penalties Signals Courts Have Lost Patience with GenAI Filing Failures», 9 de abril de 2026. https://complexdiscovery.com/the-ai-sanction-wave-145k-in-q1-penalties-signals-courts-have-lost-patience-with-genai-filing-failures/
³ Bloomberg Law, «Federal Court Judicial Standing Orders on Artificial Intelligence», 2026. https://www.bloomberglaw.com/external/document/XCN3LDG000000/litigation-comparison-table-federal-court-judicial-standing-orde