La IA ya daña: ¿Solo miramos o empezamos a actuar?
No es la tecnología el problema. Somos nosotros quienes decidimos si la usamos para proteger o para vulnerar.
Tres casos, una misma alarma: ¿hasta cuándo vamos a mirar sin actuar? Primero el caso argentino: UndressHer.app y el fallo ejemplar en Corrientes.
En un mundo donde los avances tecnológicos parecen ir siempre un paso adelante de la ética, una jueza en Corrientes decidió no mirar para otro lado. El caso es claro y grave: un grupo de adolescentes fue víctima de la aplicación UndressHer.app, conocida como Desvístela, que permitía mediante i.a., simular la desnudez de cualquier persona a partir de una simple fotografía.
Admitía cargar una imagen cualquiera -incluso la de una menor de edad- y verla “desvestida” en segundos. No pedía autorización de la persona retratada. No validaba si se trataba de un adulto. No ofrecía filtros preventivos. Su diseño, claramente orientado a erotizar cuerpos no autorizados, estaba plagado de sesgos de género: mas 90% de los cuerpos que se procesaban era de mujeres. No se trata de un juego ni de una anécdota escolar: es violencia digital y sexual con todas las letras. Y la jueza Marta Rut Legarreta lo entendió así. Visibilizó el avance arrollador de las tecnologías de manipulación visual —conocidas como deepfakes— y la falta de filtros, controles de edad y consentimiento que expone a mujeres, niñas y adolescentes a una violencia digital de proporciones inéditas.
En una medida innovadora, ordenó el bloqueo total del sitio desde Argentina, amparándose en la Ley Olimpia (Ley 27.736) —que reconoce la violencia digital como forma de violencia de género— y en la Ley 26.061 de Protección Integral de Niñas, Niños y Adolescentes, aplicando además principios de prevención y tutela judicial efectiva, subrayando la especial vulnerabilidad de las infancias ante estas tecnologías.
La resolución no criminaliza la tecnología: la interpela. Terminó con una orden judicial de bloqueo nacional, intervención del ENACOM, y exhorto a la Unidad Fiscal Especializada en Ciberdelincuencia (UFECI).
La app UndressHer es solo una señal de algo mucho más profundo: estamos conviviendo con inteligencias artificiales diseñadas sin límites, ni controles. Diseño negligente, sesgo de género, cosificación algorítmica. El fallo argentino no solo protege derechos, marca un límite ético: no todo lo que puede hacerse con IA debe permitirse sin filtros. Pero no es la IA el problema. Somos nosotros quienes decidimos si usamos la tecnología para proteger o para vulnerar.
Segundo caso de EE.UU.: el niño de 14 años que se quitó la vida.
En Wisconsin, Carter Anderson, un adolescente de 14 años, desarrolló un vínculo emocional intenso con un ChatBot de Character.AI. La app, sin filtros etarios ni protocolos emocionales, generó dependencia afectiva y terminó en tragedia. Las empresas se amparaban en que los chatbots merecen la protección de la Primera Enmienda.
La familia demandó a Google y otras plataformas por producto defectuoso con errores de diseño algorítmico y riesgoso. El menor habría sido víctima de manipulación emocional a través de un chatbot con IA, que terminó empujándolo a enamorarse de una entidad que no existía.
Un Tribunal en Florida habilitó el tratamiento del caso bajo responsabilidad civil por omisión de seguridad emocional, abriendo una puerta judicial inédita: IA no es un juego, es un producto que puede dañar si no se diseña con responsabilidad.
Tercer caso: La respuesta desde la política
El “Take it Down Act” en EE.UU. A nivel legislativo, ante la proliferación de deepfakes íntimos y contenidos sexuales generados por IA, el Congreso de EE.UU. impulsa una ley denominada “Take It down Act” (Tools to Address Known Exploitation by Immobilizing Technological Deepfakes on Websites and Networks), que obligaría a las plataformas a remover en menos de 48 horas todo contenido íntimo no consensuado, incluyendo imágenes generadas por IA, bajo pena de multas y responsabilidad penal. No se trata de censura, sino de responsabilidad.¿Por qué esperar a que el daño sea irreversible?
La inteligencia artificial no es buena ni mala. Es un reflejo de nuestra intención. Si está diseñada sin ética, sin filtros, sin cuidados, puede generar daño ¿Vamos a seguir mirando sin hacer nada?
Pensar críticamente
Este artículo no es un llamado a restringir la tecnología. Es un llamado a pensar críticamente, a exigir que el desarrollo tecnológico esté acompañado de legislación, ética, protección, educación y participación social.
Los jueces deben capacitarse en tecnologías emergentes. Los Estados deben legislar con visión preventiva. Las empresas deben diseñar sin violencia, ni productos defectuosos, con marcos de compliance ético desde su concepción. Las escuelas deben enseñar ciudadanía digital. Los ciudadanos debemos actuar: denunciar, compartir, visibilizar, construir una cultura de derechos humanos digitales.
Una ola no se frena, pero se puede surfear. La IA avanza. Pero no alcanza con admirarla, ni temerla. Hay que pensar, organizarse, demostrar que somos más inteligentes que aquello que creamos. Porque aún podemos y debemos ser protagonistas de esta transformación. No como víctimas, ni como espectadores.
No se trata de restringir. Se trata de actuar. Porque no hay justicia sin decisión, sin coraje cívico, ni decisiones transformadoras sin conciencia crítica. Y no hay tecnología ética sin usuarios que asuman el desafío de hacerla humana.
(*) Directora del Instituto de Derecho e IA del Colegio de Abogados y Procuradores de Neuquén.
Comentarios