Aunque endurecida por sus años en Internet, Caitlin Roper se encontró traumatizada por las amenazas en línea que recibió este año.
Había una foto de ella colgada de una soga, muerta. Y otro se está quemando solo, gritando.
Las publicaciones fueron parte de una oleada de reacciones violentas contra Roper y sus colegas de Collective Shout, un grupo activista australiano, en X y otras plataformas de redes sociales. Algunas de ellas, incluidas las representaciones de mujeres desolladas, decapitadas o alimentadas a un leñador, parecen haber sido creadas (y dotadas de realismo intrínseco) por inteligencia artificial generativa. En algunos de los videos, se vio a Roper con un vestido floral azul, que en realidad posee.
“Son estos pequeños detalles extraños los que lo hacen sentir más real y, de alguna manera, un tipo diferente de violación”, dijo. “Estas cosas pueden pasar de la fantasía a algo más que la fantasía”.
La IA ya está generando preocupaciones sobre su capacidad para imitar voces reales en estafas o crear pornografía falsa sin el permiso del sujeto. Ahora la tecnología también se está utilizando para amenazas violentas: diseñándolas para maximizar el miedo, haciéndolas mucho más personalizadas, persuasivas y más fáciles de ejecutar.
“Cuando se desarrolla una tecnología como esta, siempre van a suceder dos cosas: vamos a encontrar formas inteligentes, creativas y emocionantes de usarla, y vamos a encontrar formas terribles y terribles de abusar de ella”, dijo Hani Farid, profesor de informática de la Universidad de California, Berkeley. “Lo frustrante es que no es una sorpresa”.
Las amenazas digitales existen desde hace al menos algunos años. En 2023, se presentó un vídeo a un juez en Florida, probablemente realizado con la herramienta de personalización de personajes del videojuego Grand Theft Auto 5, que mostraba un avatar que parecía y caminaba como si hubiera sido hackeado y disparado.
Pero las imágenes amenazadoras son cada vez más fáciles de crear y más convincentes. En una página de YouTube, había más de 40 videos realistas (probablemente creados con la ayuda de inteligencia artificial, según los expertos que revisaron el canal), cada uno de los cuales mostraba a una mujer recibiendo un disparo. (YouTube, después de ser contactado por The New York Times, dijo que había suspendido el canal por “múltiples violaciones” de sus pautas). Esta primavera, un video profundamente falso de un estudiante con un arma provocó el cierre de una escuela secundaria. En julio, un abogado de Minneapolis dijo que el chatbot Grok de xAI le dio a un usuario anónimo de las redes sociales instrucciones detalladas para irrumpir en su casa, agredirlo sexualmente y deshacerse de su cuerpo.
Hasta hace poco, la IA sólo podía imitar a personas reales si tenían una gran presencia en línea, como estrellas de cine con toneladas de fotografías disponibles públicamente. Ahora, una sola foto de perfil será suficiente, afirmó Farid, cofundador de GetReal Security, un servicio que identifica contenido digital malicioso. (Roper dijo que llevaba un vestido floral azul en una fotografía publicada hace unos años en un periódico australiano).
Lo mismo ocurre con las voces, cuya clonación solía requerir horas de datos de muestra para clonarlas, ahora toma menos de un minuto.
“La preocupación ahora es que casi cualquier persona sin más habilidad que un motivo o sin dudas puede usar fácilmente estas herramientas para causar daño”, dijo Jane Bambauer, profesora que enseña inteligencia artificial y derecho en la Universidad de Florida.
Las preocupaciones sobre las amenazas y la extorsión de la IA aumentaron con el lanzamiento en septiembre de Sora, un programa de conversión de texto a vídeo de OpenAI. La aplicación, que permite a los usuarios cargar imágenes de ellos mismos para incluirlas en escenas hiperrealistas, rápidamente representó a personas reales en situaciones aterradoras.
El Times investigó a Sora y produjo vídeos que mostraban a un pistolero en un aula ensangrentada y a un hombre encapuchado persiguiendo a una niña. Grock también agregó voluntariamente una herida de bala con sangre a una foto de una persona real.
“En términos de identidad, todo el mundo es vulnerable”, afirmó Farid.
Un representante de OpenAI dijo que la compañía se basó en numerosas salvaguardas, incluidas barreras para bloquear la creación de contenido peligroso, experimentos para identificar fallas previamente desconocidas y sistemas automatizados de moderación de contenido. (El Times demandó a OpenAI en 2023, alegando infracción de derechos de autor de contenido de noticias vinculado a sistemas de inteligencia artificial, reclamo que OpenAI negó).
Sin embargo, los expertos en seguridad de inteligencia artificial dijeron que las empresas no han hecho lo suficiente. Alice Marwick, directora de investigación de la organización sin fines de lucro Data & Society, describió la mayoría de las vallas como “más un policía de tránsito perezoso que una barrera confiable; puedes obligar al modelo a ignorarlas y evitarlas”.
Roper dijo que la corriente de abuso en línea que comenzó este verano, incluidos cientos de publicaciones abusivas dirigidas a ella, estaba relacionada con su trabajo en una campaña para acabar con los videojuegos violentos que glorifican la violación, el incesto y la tortura sexual. En X, donde aparecieron la mayoría de los abusos, se eliminaron algunas imágenes y cuentas ofensivas, dijo. Pero la compañía también le dijo repetidamente que otras publicaciones que mostraban su muerte violenta no violaban los términos de servicio de la plataforma. De hecho, X una vez añadió a uno de sus acosadores a su lista de cuentas recomendadas a seguir.
Algunos de los acosadores también afirmaron haber utilizado Grok no sólo para crear imágenes, sino también para investigar cómo encontrar mujeres en casa y en los cafés locales.
Harto, Roper decidió publicar algunos ejemplos. Poco después, como se ve en las capturas de pantalla, X le dijo que estaba violando su política de seguridad contra el derramamiento de sangre gratuito y bloqueó temporalmente su cuenta.
Ni X ni xAI, la empresa propietaria de Grok, respondieron a las solicitudes de comentarios.
La IA también está haciendo que otros tipos de amenazas sean más convincentes, como el swatting, la práctica de hacer llamadas de emergencia falsas para obtener una respuesta masiva de la policía y el personal de emergencia. Este verano, la Asociación Nacional de Fiscales Generales dijo que la IA ha “aumentado significativamente la escala, la precisión y el anonimato” de tales ataques. A menor escala, una serie de vídeos generados por IA que mostraban supuestos allanamientos de viviendas incitaron a los residentes a llamar a los departamentos de policía de todo el país.
Ahora, los perpetradores de las hostilidades pueden crear informes falsos convincentes clonando voces y manipulando imágenes. Un asesino en serie utilizó un tiroteo simulado para sugerir que el tirador estaba en el estacionamiento de una escuela secundaria del estado de Washington. El campus estuvo cerrado durante 20 minutos; Aparecieron policías y agentes federales.
La IA ya estaba complicando los esfuerzos de las escuelas para proteger a los estudiantes, generando preocupaciones sobre imágenes sexuales personalizadas o rumores que se propagaban a través de videos falsos, dijo Brian Asmus, un exjefe de policía que trabajaba como gerente senior de seguridad del distrito escolar cuando llegó la llamada. Esta tecnología crea ahora un problema de seguridad adicional, lo que dificulta distinguir entre falsas alarmas y llamadas de emergencia genuinas.
“¿Cómo responden las autoridades ante algo que no es real?” preguntó Asmus. “No creo que estemos realmente adelantados todavía”.
