A ver, vamos a ser sinceros desde el primer párrafo. Llevo un par de cafés encima y la noticia que me ha saltado hoy en el radar me ha dejado un mal cuerpo que ni un lunes de resaca en la calle Mayor de Cartagena. Resulta que lo que antes era material de pesadillas de ciencia ficción barata, ahora es una realidad que te puede llegar por un mensaje de WhatsApp o una notificación de Facebook. Me refiero a ese caso que está dando vueltas por redes sobre «La Tía Paty» y el uso de Inteligencia Artificial para crear vídeos donde se simula la muerte de unos niños. Sí, habéis leído bien. No es un guion de una serie distópica; es la cruda realidad de cómo el rencor humano ha encontrado en los algoritmos una herramienta de tortura psicológica sin precedentes.
La verdad es que, como alguien que se pasa el día trasteando con código y viendo las bondades de la IA para optimizar procesos o generar arte, encontrarse con esto es como un bofetón de realidad. Nos hemos centrado tanto en si la IA nos va a quitar el trabajo o si va a escribir mejores correos que nosotros, que se nos ha olvidado lo más básico: el factor humano. Y no el factor humano bueno, sino ese que es capaz de usar una herramienta de generación de vídeo para aterrorizar a una madre. Vaya, que se nos ha quedado un panorama bastante feo.
Este caso, que ha saltado a la palestra a través del testimonio de Jessica Fernández, pone sobre la mesa un debate que en España nos toca muy de cerca. Porque no nos engañemos, esto no es algo que pase «allá lejos». Aquí, en nuestro país, ya hemos tenido episodios que nos han puesto los pelos de punta, como lo ocurrido en Almendralejo con las fotos falsas de menores. La tecnología es la misma; lo que cambia es el nivel de crueldad del que la empuña.
¿Cómo demonios es posible crear algo así con un par de clics?
Para los que no estéis metidos en el mundillo del machine learning, igual pensáis que para hacer un vídeo de estos hace falta un equipo de efectos especiales de Hollywood. Ojalá fuera así. La realidad es mucho más mundana y, por tanto, más peligrosa. Hoy en día, con una tarjeta gráfica medio decente (o incluso usando servicios en la nube) y un puñado de fotos sacadas de Instagram, cualquier persona con un poco de tiempo libre y malas intenciones puede montar un deepfake convincente.
La tecnología que hay detrás se basa, a grandes rasgos, en las Redes Generativas Antagónicas (GANs). Para que nos entendamos: son dos algoritmos peleándose entre sí. Uno intenta crear una imagen falsa y el otro intenta detectar si es falsa. De tanto pelear, el que crea las imágenes se vuelve un experto en engañar al detector. Al final del día, lo que obtenemos es un vídeo donde el rostro de una persona se superpone al de otra con una precisión que asusta. Y si a eso le sumas herramientas de clonación de voz, que ya funcionan de miedo en español, tienes el pack completo para el acoso digital.
Me viene a la cabeza una anécdota de hace unos meses en un foro de desarrolladores aquí en España. Discutíamos sobre la ética de los modelos de difusión. Alguien decía que «la tecnología es neutra». Yo, sinceramente, cada vez compro menos ese argumento. Si diseñas una herramienta que permite suplantar la identidad de alguien con un realismo total sin ponerle candados, estás abriendo una caja de Pandora que luego no hay quien cierre. Es como dejar una motosierra encendida en un parque infantil y decir que «la motosierra es neutra». Pues no, hijo, no.
El proceso técnico (explicado para humanos)
Si nos ponemos un poco más técnicos, pero sin pasarnos de rosca, el proceso suele seguir estos pasos:
- Recolección de datos: Se necesitan fotos o vídeos de la víctima. En el caso de «La Tía Paty», probablemente usaron fotos familiares. Ojo con lo que subimos a redes, que a veces somos nosotros mismos los que damos la munición al enemigo.
- Entrenamiento del modelo: Se usa un software (hay muchos de código abierto en GitHub, como DeepFaceLab) para que la IA aprenda los rasgos, las sombras y los movimientos de la cara de la víctima.
- Mapeo y renderizado: Se eligen los vídeos de «base» (en este caso, escenas violentas o macabras) y se sustituye la cara original por la de los niños.
- Post-procesado: Se ajustan los colores y la iluminación para que no parezca un pegote.
Lo más inquietante es que ya no hace falta saber programar en Python ni entender qué es un tensor. Hay aplicaciones que lo hacen casi todo automático. Y eso es lo que realmente debería quitarnos el sueño.
El impacto psicológico: cuando la ficción duele como la realidad
A veces tendemos a infravalorar lo que pasa en el mundo digital. «Es solo un vídeo», dirán algunos. «No es real». Pero el cerebro humano no funciona así. Cuando una madre ve un vídeo de sus hijos en una situación traumática, la respuesta fisiológica es real. El cortisol sube, el corazón se acelera y el trauma se asienta. La IA no solo está suplantando una imagen; está hackeando nuestras emociones más primarias.
La verdad es que este tipo de acoso, que podríamos llamar «terrorismo digital doméstico», busca la aniquilación emocional de la víctima. No se trata de robar dinero o contraseñas, se trata de destruir la paz mental. Y aquí en España, donde somos tan de familia y de estar muy encima de los nuestros, este tipo de ataques dan donde más duele. Me pregunto cuántos casos habrá que no salen a la luz por pura vergüenza o por no saber cómo explicarle a la Guardia Civil que «un vídeo falso me ha destrozado la vida».
Además, hay un componente de «valle inquietante» (uncanny valley) que lo hace todo más turbio. Es ese sentimiento de rechazo que sentimos cuando algo parece casi humano, pero no lo es del todo. En estos vídeos, ese rechazo se mezcla con el horror del contenido, creando una combinación tóxica que es muy difícil de procesar para cualquier persona normal.
¿Qué dice la ley en España sobre esto? (Spoiler: vamos tarde)
Si esto pasara en Cartagena, o en cualquier rincón de nuestra geografía, ¿qué herramientas tenemos? La legislación española está intentando ponerse al día, pero la tecnología corre en un Ferrari y las leyes van en un Seat 600 cuesta arriba. Aun así, no todo está perdido.
El Código Penal español, tras las últimas reformas, ya empieza a contemplar el uso de imágenes falsas para el acoso o la vulneración de la intimidad. La famosa «Ley del solo sí es sí» introdujo cambios importantes respecto a la difusión de contenidos que menoscaben gravemente la integridad moral. Pero claro, el problema es la prueba. Identificar quién está detrás de un perfil falso que manda estos vídeos puede ser una odisea digna de Ulises.
Ojo con esto: en España, crear y difundir este tipo de material puede acarrear penas de prisión. No es ninguna broma. El problema es que muchas veces el agresor está en otro país o usa redes que no colaboran fácilmente con la justicia española. Aun así, la recomendación siempre es la misma: denunciar, denunciar y volver a denunciar. Y, sobre todo, no borrar nada. Las capturas de pantalla y los archivos originales son oro puro para los peritos informáticos.
El caso de Almendralejo como precedente
No podemos hablar de esto sin recordar lo que pasó en Extremadura. Un grupo de chavales usó una app para «desnudar» a sus compañeras de clase. Fue un toque de atención brutal para toda la sociedad española. Nos dimos cuenta de que la IA no era solo para hacer filtros de gatitos en TikTok. Si eso se pudo hacer con adolescentes, imaginad lo que puede hacer un adulto con ganas de hacer daño de verdad, como en el caso de la Tía Paty.
La conclusión que saco de todo esto es que necesitamos una educación digital urgente. No solo para los niños, sino para los abuelos, los padres y hasta para el que se cree un experto en tecnología. Tenemos que aprender a desconfiar de lo que vemos, por muy real que parezca.
Cartagena y la ciberseguridad: una mirada local
Viviendo en Cartagena, uno podría pensar que estas cosas quedan muy lejos, que aquí estamos más preocupados por si el submarino S-81 sale a navegar o por cuándo abren el próximo tramo del teatro romano. Pero la realidad es que Cartagena es un polo tecnológico importante en la Región de Murcia. Tenemos la UPCT (Universidad Politécnica de Cartagena), donde se investiga mucho sobre ciberseguridad y procesamiento de imágenes.
He tenido la oportunidad de charlar con algunos expertos de la zona y la preocupación es unánime. La tecnología para detectar deepfakes existe, pero siempre va un paso por detrás de la tecnología para crearlos. Es la eterna lucha del gato y el ratón. En nuestra ciudad, como en cualquier otra de España, las empresas y las instituciones están empezando a blindarse, pero el ciudadano de a pie sigue estando muy desprotegido.
Me contaba un conocido que trabaja en temas de seguridad informática que el mayor agujero de seguridad no es el software, sino nosotros mismos. El «ingeniería social» de toda la vida, pero potenciado con esteroides algorítmicos. Si te llega un vídeo de un familiar en peligro, tu primera reacción no es analizar los píxeles para ver si es un deepfake; tu reacción es el pánico. Y ahí es donde ganan los malos.
Guía de supervivencia: ¿Cómo detectar un vídeo falso?
A ver, que no cunda el pánico. Aunque la IA es muy buena, todavía no es perfecta (aunque le falta poco). Si os llega algo raro, antes de tirar el móvil por la ventana, fijaos en estos detalles que suelen delatar a los vídeos generados por IA:
- El parpadeo: Muchas IAs todavía tienen problemas para simular un parpadeo natural. Si la persona en el vídeo no parpadea o lo hace de forma muy extraña, sospecha.
- Los bordes de la cara: Fíjate bien en la zona donde el pelo toca la cara o donde la mandíbula se une al cuello. A veces se ven como «borrones» o saltos bruscos en la imagen.
- El interior de la boca: Los dientes y la lengua son el talón de Aquiles de muchos modelos de IA. Si al hablar la boca parece una mancha blanca o los dientes no se ven definidos, es un fake de manual.
- La iluminación: A veces la luz de la cara no coincide con la luz del fondo. Si la cara está muy iluminada y el fondo está en penumbra sin una fuente de luz clara, algo huele mal.
- La coherencia emocional: En el caso de vídeos violentos o traumáticos, a veces las expresiones faciales no encajan con lo que está pasando. La IA puede poner una cara de miedo, pero los micro-movimientos musculares suelen ser erráticos.
Y sobre todo, usad el sentido común. Si recibís algo de alguien con quien tenéis una relación conflictiva, o si el contenido es excesivamente dramático y busca una reacción inmediata, parad un segundo. Respirad. Llamad a la persona implicada por una vía segura (una llamada de voz de toda la vida suele bastar para desmontar el engaño).
La responsabilidad de las plataformas (y la nuestra)
Aquí es donde me pongo un poco más serio. Empresas como Meta (Facebook, Instagram, WhatsApp), Google o TikTok tienen una responsabilidad enorme. No vale con decir que son solo «intermediarios». Si tu plataforma permite que se difunda contenido que destruye vidas, tienes que poner medios para pararlo.
La verdad es que se están haciendo cosas. Se están implementando marcas de agua digitales y sistemas de detección automática, pero parece que nunca es suficiente. Y es que, al final del día, el volumen de contenido que se sube cada segundo es tan bestial que es imposible revisarlo todo con humanos. Dependemos de otra IA para vigilar a la IA. Vaya, que estamos en un bucle un poco loco.
Pero no toda la culpa es de Mark Zuckerberg. Nosotros también tenemos nuestra parte. Esa manía de compartirlo todo, de no poner candados a nuestros perfiles, de dejar que cualquiera vea las fotos de nuestros hijos… Es duro decirlo, pero tenemos que ser más celosos de nuestra intimidad. En un mundo donde tu cara puede ser usada para crear una pesadilla, tu privacidad es tu mejor escudo.
¿Hacia dónde vamos?
Si me preguntáis a mí, creo que estamos en una etapa de transición muy caótica. Estamos aprendiendo a golpes. La IA es una herramienta increíble para la medicina, para la ciencia, para la creatividad… pero también es el juguete nuevo de los acosadores. La solución no es prohibir la tecnología (porque es imposible ponerle puertas al campo), sino educar y legislar con cabeza.
Me gustaría pensar que en unos años tendremos sistemas de verificación de identidad tan integrados que este tipo de ataques serán imposibles. Pero hasta que llegue ese día, nos toca estar alerta. Y sobre todo, nos toca recuperar la empatía. Porque detrás de cada algoritmo hay una persona, y si esa persona decide usar su conocimiento para hacer daño, el problema no es el código, es el alma.
Reflexiones finales desde la barra del bar
Para que nos entendamos, lo de «La Tía Paty» es solo la punta del iceberg. Es un recordatorio brutal de que la maldad humana siempre encuentra un camino. Pero también es una oportunidad para que despertemos. No podemos seguir viviendo en la red como si fuera un parque temático inofensivo. Es un territorio salvaje y, como tal, hay que ir preparados.
La verdad es que escribir sobre esto me deja un sabor agridulce. Por un lado, me fascina la capacidad técnica de crear realidades de la nada. Por otro, me aterra lo que somos capaces de hacernos los unos a los otros. Supongo que es el eterno dilema del progreso. Como decían en aquella película (sí, me voy a poner un poco cinéfilo, perdonadme), «un gran poder conlleva una gran responsabilidad». Y ahora mismo, todos tenemos un poder inmenso en el bolsillo.
Al final del día, lo que nos queda es la comunidad. Hablar de estos temas, compartirlos, denunciar cuando vemos algo raro y, sobre todo, apoyar a las víctimas. Si algo nos enseña el caso de Jessica Fernández y su invitada es que el silencio es el mejor aliado del acosador. Al darle visibilidad, le quitamos poder al miedo.
Y ahora, si me disculpáis, voy a cerrar el portátil y me voy a dar un paseo por el puerto de Cartagena para que me dé un poco el aire y se me pase el mal cuerpo. Que a veces, entre tanto bit y tanto algoritmo, se nos olvida lo bien que sienta ver el mar de verdad, sin filtros ni IAs de por medio. ¡Cuidado con lo que compartís y, sobre todo, no perdáis nunca el sentido crítico!
Deja una respuesta