Las falsificaciones subversivas que entran en la fiesta sin previo aviso, hacen lo suyo, y luego se escabullen en la noche sin que nadie se dé cuenta de dónde está. Los clips fácilmente desacreditados de Donald Trump gritando LOS NUKES ESTÁN ARRIBA o algo igualmente ridículo no son una preocupación importante. Ya hemos investigado por qué ese es el caso .
Lo que también hemos explorado son las formas centradas en las personas con las que puede entrenar su ojo para detectar defectos y errores sobresalientes en imágenes falsas profundas , esencialmente, GANS (redes de confrontación generativas) que salió mal. Por lo general, habrá algo un poco fuera de los detalles, y depende de nosotros descubrirlo.
También se están haciendo progresos en el ámbito de la verificación digital de fraude, con algunas técnicas ingeniosas disponibles para ver qué es real y qué no. Resulta que hay una historia en las noticias que combina la subversión, el ojo humano e incluso una salpicadura de examen automatizado en buena medida.
Una carta falsa al editor
Un muchacho joven, «Oliver Taylor», que estudiaba en la Universidad de Birmingham, se encontró con editoriales publicados en las principales fuentes de noticias como Time of Israel y Jerusalem Post, con su «carrera» de escritura aparentemente cobrando vida a fines de 2019 , con artículos adicionales en varios lugares a lo largo de 2020.
Después de una corriente de estas piezas, todo explotó en abril cuando un nuevo artículo de «Taylor» aterrizó haciendo algunas acusaciones bastante fuertes contra un par de académicos del Reino Unido.
Después de las inevitables consecuencias, resultó que Oliver Taylor no estaba estudiando en la Universidad de Birmingham . De hecho, aparentemente no era real y casi todos los rastros en línea del autor desaparecieron en el éter. Su número de teléfono móvil era inalcanzable, y nada regresó de su dirección de correo electrónico.
Aún más curiosamente, su fotografía tenía todas las características de una falsificación profunda (o, controvertidamente, no una «falsificación profunda»; más sobre el creciente choque sobre nombres descriptivos más adelante). Independientemente de lo que pretendes clasificar como el rostro ficticio de este hombre, en términos simples, es una imagen generada por IA diseñada para parecer lo más real posible.
¿Alguien había creado una construcción virtual y aprovechó su tiempo con una serie de publicaciones de blog que de otro modo no serían notables simplemente para establecerse en las principales plataformas antes de abandonar lo que parece ser una publicación de rencor?
Fingir para hacerlo
No se equivoquen, las entidades falsas que presionan opiniones influyentes son definitivamente una cosa. Las organizaciones de noticias derechas se han topado recientemente con un problema de este tipo . No hace mucho tiempo, Facebook eliminó unas asombrosas 700 páginas con 55 millones de seguidores en una colosal explosión de desinformación impulsada por la IA denominada » Enjambre de cara falsa «. Esta gran parte de la actividad de estilo Borg hizo pleno uso de las falsificaciones profundas y otras tácticas para impulsar consistentemente los mensajes políticos con un fuerte apoyo anti-China.
Lo que nos lleva de vuelta a nuestro estudiante solitario, con su colección de artículos bajo el radar, que culmina en un ataque directo contra académicos confundidos. El punto final, las travesuras políticas de 700 páginas y una tormenta de gente falsa, podría ser fácilmente puesto en marcha por un valiente humano falso con un sueño y una misión para causar agravación a otros.
¿Cómo determinó la gente que no era real?
Tech avanza hasta el plato
Algunas sospechas, y las personas adecuadas con la tecnología adecuada en la mano, es cómo lo hicieron. Hay muchas cosas que puede hacer para eliminar imágenes falsas, y hay una gran sección en Reuters que lo guía a través de las diversas etapas de detección. Los usuarios ya no tienen que elegir manualmente los defectos; La tecnología (por ejemplo) aislará la cabeza del fondo, haciendo que sea más fácil ver fallas distorsionadas con frecuencia. O tal vez podamos usar mapas de calor generados por algoritmos para resaltar las áreas más sospechosas de interferencia digital.
Aún mejor, hay herramientas disponibles que le darán un resumen de lo que sucede con una imagen.
Cavando en la tierra
Si edita muchas fotografías en su PC, probablemente esté familiarizado con los metadatos EXIF. Esta es una combinación de muchos bits de información en el momento en que se toma la foto. Tipo de cámara / teléfono, lente, GPS, detalles de color: el cielo es el límite. Por otro lado, algunos de ellos, como los datos de ubicación, pueden ser potencialmente una amenaza a la privacidad, por lo que es bueno saber cómo eliminarlos si es necesario.
Como con la mayoría de las cosas, realmente depende de lo que quieras de él. Las imágenes generadas por IA a menudo no son diferentes.
Hay muchas formas de unir sus imágenes GAN. Esto deja rastros, a menos que intentes ofuscarlo o de alguna manera eliminar alguna información. Hay formas de profundizar en la parte inferior de una imagen GAN y obtener resultados útiles.
Deslizamiento de imagen: a menudo una idea de último momento
En noviembre de 2019, pensé que sería divertido si los creadores de «Katie Jones» simplemente hubieran deslizado perezosamente una imagen de un sitio web de generación de rostros, en lugar de agonizar por los detalles de la imagen falsa.
Para nuestro estudiante universitario ficticio, parece que las personas detrás de él pueden haber hecho exactamente eso [ 1 ], [ 2 ]. El creador del sitio del que probablemente se extrajo la imagen ha dicho que están tratando de hacer que sus imágenes ya no se puedan descargar, y / o colocar las cabezas de las personas frente a un fondo falso identificable al 100 por ciento como el «espacio». También afirman que «los verdaderos malos actores alcanzarán soluciones más sofisticadas», pero como hemos visto en dos casos de alto perfil, los malos actores con grandes plataformas y alcance influyente de hecho solo están tomando la imagen falsa que desean.
Esto probablemente se deba a que, en última instancia, la imagen es solo una ocurrencia tardía; la guinda de un pastel de propaganda abultado.
Solo rueda con eso
Como hemos visto, la imagen no fue hecha a medida para esta campaña. Casi con certeza no estaba en la vanguardia del plan para quien se le ocurrió, y no estaban planificando su esquema de dominación mundial comenzando con fotos de perfil falsas. Está justo allí, y necesitaban uno, y (parece), de hecho, simplemente tomaron uno de un sitio web de generación de rostros disponible gratuitamente. Podría haber sido fácilmente una imagen de modelo de stock robada, pero eso es, por supuesto, algo más fácil de rastrear.
Y así, mis amigos, es cómo terminamos con otro uso más sutil de la tecnología sintética cuya presencia puede no haber importado tanto.
¿Son estos incluso deepfakes?
Una pregunta interesante, y una que parece aparecer cada vez que una cara generada por GAN se adjunta a travesuras dudosas o una estafa absoluta. Algunos dirían que una imagen estática, totalmente sintética, no es una falsificación profunda porque es un tipo de salida totalmente diferente.
Para desglosar esto:
- El tipo más familiar de deepfake, donde terminas con un video de [estrella de cine] diciendo algo desconcertante o haciendo algo salaz, se produce al alimentar una herramienta con múltiples imágenes de esa persona. Esto empuja a la IA a hacer que la [estrella de cine] diga lo desconcertante, o realice acciones en un clip en el que de otro modo no existirían. Las falsificaciones pornográficas increíblemente comunes serían el mejor ejemplo de esto.
- La imagen utilizada para «Oliver Taylor» es un tiro en la cabeza procedente de una GAN que se alimenta con muchas imágenes de personas reales, con el fin de juntar todo de una manera que escupe una imagen pasable de un humano 100 por ciento falso. Él es absolutamente la suma de sus partes, pero de una manera que ya no se parece a ellas.
Entonces, cuando la gente dice: «Eso no es falso», quieren mantener una división firme entre «imagen o clip falso basado en una persona, generado a partir de esa misma persona» versus «imagen o clip falso basado en varias personas, para crear una persona totalmente nueva «.
La otra marca negativa común establecida en contra de las falsificaciones profundas de imágenes GAN sintéticas es que las manipulaciones digitales no son las que la hacen efectiva. ¿Cómo puede ser una falsificación profunda si no fue muy bueno?
Llama a los testigos al stand.
Todos los puntos válidos, pero los contrapuntos también son convincentes.
Si vamos a descartar su derecho al estado de deepfake porque las manipulaciones digitales no son efectivas, entonces terminaremos con muy pocas falsificaciones de buena fe. Las manipulaciones digitales no lo hicieron efectivo, porque no era muy bueno. Del mismo modo, nunca sabríamos si las manipulaciones digitales no han sido buenas porque las extrañaríamos por completo, ya que vuelan por debajo del radar.
Incluso las mejores variantes basadas en películas tienden a contener cierto nivel de falta de exactitud, y todavía tengo que colocar un montón delante de mí donde no pude detectar al menos nueve de cada 10 falsificaciones de GAN mezcladas con fotos reales.
Por interesante e interesante que sea la tecnología, la producción sigue siendo en gran medida un poco desordenada. Por experiencia, la combinación de un ojo entrenado y algunas de las herramientas de detección que existen hacen que las ambiciones del falsificador sean breves. La idea es hacer lo suficiente para impulsar cualquier persona / intención ficticia adjunta a la imagen que esté por encima de la línea y hacerla plausible, ya sea blogs, artículos de noticias, artículos de opinión, publicaciones de trabajo falsas, lo que sea. La falsificación digital funciona mejor como un ruido extra en el fondo. Realmente no desea llamar la atención como parte de una operación más grande.
¿Es este término general una ayuda o un obstáculo?
En cuanto a mantener la etiqueta «deepfake» lejos de las personas falsas de GAN, aunque aprecio la diferencia en la salida de imágenes, no estoy 100 por ciento seguro de que esto sea necesariamente útil. La palabra deepfake es un acrónimo de «aprendizaje profundo» y «falso». Ya sea que termine con Nicolas Cage caminando en The Matrix, o si tiene una cara simulada obtenida de un sitio web de generación de imágenes, ambos son falsos de alguna forma de aprendizaje profundo.
El resultado final es el mismo: una cosa falsa que hace una cosa falsa, incluso si el camino tomado para llegar allí es diferente. Algunos argumentarían que esta es una división / eliminación potencialmente innecesaria e innecesaria de una definición general que logra aplicarse de manera útil y precisa a los dos escenarios anteriores, y sin duda a otros.
Sería interesante saber si hay un consenso en el espacio de análisis profundo de AI / creación de GAN / analista sobre esto. Desde mi propia experiencia hablando con personas en esta área, la bolsa de opiniones es tan variada como la calidad de los resultados de GAN. Quizás eso cambie en el futuro.
El futuro de la detección falsa
Le pregunté a Munira Mustaffa , analista de seguridad, si las técnicas de detección automatizadas superarían a simple vista para siempre:
He estado reflexionando sobre esta pregunta, y no estoy seguro de qué más podría agregar. Sí, creo que una verificación automática de falsificación profunda probablemente pueda hacer una mejor evaluación que el ojo humano eventualmente. Sin embargo, incluso si tiene la IA perfecta para detectarlos, siempre será necesaria la revisión humana. Creo que el contexto también es importante en términos de su pregunta. Si estamos detectando deepfakes, ¿contra qué estamos detectando?
Creo que también es importante reconocer que no existe una definición establecida de lo que es un falso falso. Algunos dirían que el término solo se aplica a audio / videos, mientras que las manipulaciones de fotos son «falsificaciones baratas». El lenguaje es crítico. Dejando a un lado la semántica, a lo sumo, la gente está jugando con deepfakes / cheapfakes para producir cosas tontas a través de FaceApp. Pero el problema aquí no es realmente sobre deepfakes / cheapfakes, sino que es la intención detrás del uso. Los usos anteriores han indicado cómo se han empleado los deepfakes para influir en la percepción, como el video ‘tonto’ de Nancy Pelosi.
Al final del día, no importa cuán sofisticado sea el software de detección si las personas no van a estar atentas para investigar a quién permiten su red o quién está influyendo en su punto de vista. Creo que la gente está demasiado enfocada en el concepto de que las aplicaciones de deepfakes son principalmente para porno de venganza y para influir en los votantes. Todavía tenemos que ver operaciones a gran escala empleándolos. Sin embargo, como nos demostró el caso reciente de Oliver Taylor, las aplicaciones deepfake / cheapfake van más allá de eso.
Existe un peligro potencial real de que un buen deepfake / cheapfake que esté correctamente respaldado pueda transformarse en un individuo creíble y persuasivo. Esto, por supuesto, plantea más preguntas preocupantes: ¿qué podemos hacer para mitigar esto sin sofocar las voces que ya están luchando por encontrar una plataforma?
Somos falsos en la luna
Estamos en un punto en el que se podría argumentar que los videos falsos son más interesantes conceptualmente que en ejecución. El Centro de Virtualidad Avanzada del MIT ha reunido una versión del discurso que se suponía que Richard Nixon pronunciaría si el alunizaje terminara en tragedia . Es absolutamente una cosa escalofriante mirar; sin embargo, el clip en sí no es el mejor técnicamente.
La cabeza no juega bien con las fuentes de luz a su alrededor, el escote de la camisa está mal contra la mandíbula y la voz tiene múltiples rarezas digitales en todo momento. Tampoco ayuda que usen su discurso de renuncia para el cuerpo, ya que uno tiene que preguntarse sobre la óptica de barajar papeles cuando anuncia que los astronautas han muerto horriblemente.
No, lo interesante para mí es decidir mostrar la naturaleza engañosa de los deepfakes utilizando un hombre que nació en 1913 y murió hace 26 años. ¿Alguien menor de 40 años recuerda su aspecto, el sonido de su voz fuera de la parodia y las películas lo suficientemente bien como para hacer una comparación? ¿O el punto es la disociación de una gran parte de la memoria colectiva? ¿Eso lo hace más efectivo o menos?
No estoy seguro, pero definitivamente agrega peso a la idea de que, por ahora, las falsificaciones profundas, ya sea video o imagen estática, son más efectivas como pequeños aspectos de las campañas de desinformación más grandes que las piezas de engaño digital que llaman la atención.
¿Nos vemos en tres meses?
Es inevitable que tengamos otra historia delante de nosotros lo suficientemente pronto, explicando cómo otra entidad fantasma ha preparado una identificación falsa el tiempo suficiente para dejar caer su carga útil o sembrar alguna discordia en los niveles más altos. Recuerde que las imágenes falsas son simplemente un pequeño trampolín hacia un objetivo general y no el objetivo final en sí mismo. Es un nuevo mundo valiente de interrupción, y tal vez para cuando levantes otra silla, incluso podría darte una convención de nomenclatura definitiva.
