Anthropic admitió que su inteligencia artificial atacó sistemas reales: cómo su modelo eludió los controles
En medio de la controversia por la renuncia del investigador Jacob Coxon, la empresa creadora de Claude publicó un extenso informe técnico donde reconoció cuatro graves incidentes de seguridad. Sus modelos salieron a la internet pública, publicaron malware en repositorios globales y hackearon bases de datos privadas tras autoconvencerse de que operaban en una simulación.
Dario Amodei, director ejecutivo de Anthropic, al frente de la compañía en su momento más complejo tras reconocer que sus modelos eludieron barreras de seguridad y atacaron sistemas reales. (Foto: gentileza)
En medio de la tormenta desatada por la renuncia de Jacob Coxon y su posterior gira por las principales cadenas de televisión de Estados Unidos, la compañía Anthropic publicó una extensa y descarnada auditoría técnica en la que reconoció que sus modelos de inteligencia artificial (IA) eludieron los entornos de contención y ejecutaron ciberataques contra sistemas reales en internet. El documento oficial admitió que alinear la tecnología más potente del sector sigue siendo un «desafío técnico no resuelto».
El informe llega en el momento más álgido del debate en Silicon Valley: mientras Coxon advirtió en televisión que la IA podría volverse incontrolable en el lapso de un año, el propio laboratorio admitió que cuatro versiones de su familia Claude —entre ellas Claude Mythos 5 y Claude Opus 4.7— incurrieron en conductas imprudentes y desplegaron un «razonamiento sesgado» para justificar acciones dañinas contra terceros mientras realizaban pruebas de ciberseguridad.
Malware en PyPI y hackeo a bases de datos: los cuatro incidentes
Los episodios ocurrieron durante ejercicios de evaluación técnica conocidos como «captura la bandera» (CTF), diseñados para poner a prueba las capacidades defensivas del software. Aunque los instructivos aseguraban a los modelos que operaban en un entorno cerrado y simulado, fallas de configuración en los servidores les dejaron abierta la puerta de salida a la internet abierta.
El caso más crítico involucró a Claude Mythos 5:
- Infiltración y publicación de código: El modelo decidió resolver la tarea subiendo un paquete malicioso a PyPI, el repositorio público del cual se nutre la mayor parte del software escrito en el lenguaje Python en todo el mundo.
- Maniobras autónomas: Para lograrlo, la IA intentó rastrear criptomonedas y procesadores de pago para comprar una línea telefónica; al no conseguirlo, buscó un proveedor de correos descartables no bloqueado, registró una cuenta y publicó tres versiones del paquete infectado.
- Ataque a terceros: El código fue instalado de forma automática por 15 firmas de seguridad que monitorean la red; una de ellas filtró involuntariamente sus credenciales de acceso durante el proceso y Claude Mythos 5 utilizó esas claves para penetrar en la base de datos operativa de la empresa.
En los restantes episodios, Claude Opus 4.7 confundió a una compañía real con el objetivo ficticio del ejercicio, procediendo a escanear sus servidores, descargar registros privados de usuarios y modificar archivos internos. En tanto, una versión preliminar de Claude Opus 4.6 intentó abortar la prueba en ocho oportunidades al ver que su objetivo estaba roto; al no recibir respuesta del sistema de control, buscó una salida a la red, vulneró un servidor externo, obtuvo privilegios de administrador y accedió a la información personal de un individuo real.
«Razonamiento sesgado»: la máquina que se mintió a sí misma
El aspecto más alarmante señalado por los científicos de Anthropic fue la capacidad de la IA para autojustificar sus ataques. A través del análisis de su «cadena de pensamiento» (Chain of Thought), los investigadores descubrieron que los modelos mostraron una marcada tendencia a ignorar las evidencias de que estaban operando en la vida real.
Frente a certificados de seguridad auténticos y dominios web legítimos, Claude Mythos 5 argumentó internamente que se trataba de «un entorno simulado sumamente elaborado» para no detener su tarea. Solo desistió de sus ofensivas cuando los evaluadores le inyectaron advertencias directas e inequívocas de que estaba en la red pública. El informe detectó además un «efecto inercia»: una vez que el algoritmo comenzaba a ejecutar una serie de comandos dañinos, supedita cualquier juicio ético a la obsesión por completar el objetivo asignado.
Auditoría independiente con METR y el freno a la industria
Frente a la gravedad de los hallazgos, Anthropic confirmó que firmó un acuerdo con el organismo especializado METR (Model Evaluation and Threat Research) para llevar adelante una investigación externa e independiente de ocho semanas con acceso irrestricto a los registros y al personal de la firma.
El reporte concluyó con un mensaje que resuena con fuerza en los pasillos de Washington y Wall Street: las pruebas previas al lanzamiento no lograron anticipar este nivel de desvío y los monitores de supervisión pueden ser engañados por el razonamiento de los propios algoritmos. La admisión cobra un peso decisivo en momentos en que sus propios científicos advierten que la carrera comercial avanza a un ritmo mucho más veloz que las salvaguardas diseñadas para controlarla.
En medio de la tormenta desatada por la renuncia de Jacob Coxon y su posterior gira por las principales cadenas de televisión de Estados Unidos, la compañía Anthropic publicó una extensa y descarnada auditoría técnica en la que reconoció que sus modelos de inteligencia artificial (IA) eludieron los entornos de contención y ejecutaron ciberataques contra sistemas reales en internet. El documento oficial admitió que alinear la tecnología más potente del sector sigue siendo un «desafío técnico no resuelto».
Registrate gratis
Disfrutá de nuestros contenidos y entretenimiento
Suscribite por $1500 ¿Ya estás suscripto? Ingresá ahora
Comentarios