Un detector de falsificación profunda diseñado para identificar expresiones faciales únicas y gestos con las manos podría detectar videos manipulados de líderes mundiales como Volodymyr Zelenskyy y Vladimir Putin

tecnología


7 de diciembre de 2022

Agosto 2022 - Kyiv, Ucrania.  Viendo el discurso en línea del presidente Volodymyr Zelenskiy en un smartphone sobre fondo de mesa de madera.  Noticias del frente

Video en un teléfono inteligente de un discurso real del presidente ucraniano Volodymyr Zelenskyy

Kristina Kokhanova/Alamy

Un detector de deepfake puede detectar videos falsos del presidente ucraniano Volodymyr Zelenskyy con alta precisión mediante el análisis de una combinación de voces, expresiones faciales y movimientos de la parte superior del cuerpo. Este sistema de detección no solo podría proteger a Zelenskyy, que fue el objetivo de un intento de falsificación profunda en los primeros meses de la invasión rusa de Ucrania, sino que también podría estar capacitado para señalar las falsificaciones profundas de otros líderes mundiales y magnates empresariales.

“No tenemos que distinguirte de mil millones de personas, solo tenemos que distinguirte de ellos. [the deepfake made by] cualquiera que esté tratando de imitarte”, dice Hany Farid de la Universidad de California, Berkeley.

Farid trabajó con Matyáš Boháček en el Gimnasio Johannes Kepler de la República Checa para desarrollar funciones de reconocimiento de rostros, voces, gestos con las manos y movimientos de la parte superior del cuerpo. Su investigación se basa en trabajos anteriores que entrenaron un sistema de inteligencia artificial para reconocer rostros falsos y movimientos de cabeza de líderes mundiales como el expresidente Barack Obama.

Boháček y Farid entrenaron un modelo de computadora en más de 8 horas de video con Zelenskyy que se había publicado previamente.

El motor de detección examina muchos clips de 10 segundos de un solo video, analizando hasta 780 características de comportamiento. Cuando varios clips del mismo video se marcan como falsos, esa es la señal para que los analistas humanos los observen más de cerca.

“Podemos decir: ‘Ah, lo que observamos es que cuando el presidente Zelenskyj levanta la mano izquierda, su ceja derecha sube y eso no lo vemos’”, dice Farid. «Siempre imaginamos que habrá personas en el circuito, ya sean reporteros o analistas de la Agencia de Seguridad Nacional, que deben poder ver eso y decir: ‘¿Por qué cree que es falso?'».

El análisis holístico de la cabeza y el torso del detector de deepfakes es especialmente adecuado para detectar videos manipulados y podría complementar los detectores de deepfakes disponibles comercialmente, que se enfocan principalmente en detectar patrones menos intuitivos que involucran píxeles y otras características de la imagen, dice Siwei Lyu de la Universidad de Buffalo en Nueva York. , que no participó en el estudio.

«Hasta este punto, no hemos visto un solo ejemplo de algoritmos de generación de deepfake que puedan generar manos humanas realistas y demostrar la flexibilidad y los gestos de un ser humano real», dice Lyu. Eso le da al último detector una ventaja para capturar los deepfakes actuales, que no pueden capturar de manera convincente las conexiones entre las expresiones faciales y otros movimientos corporales cuando una persona está hablando, y puede estar un paso por delante de los rápidos avances en tecnología de deepfakes.

El detector de falsificaciones profundas logró una precisión del 100 por ciento cuando se probó en tres videos falsos profundos de Zelenskyy que modificaban los movimientos de su boca y las palabras habladas, encargados por la empresa Colossyan, con sede en Delaware, que hace videos personalizados con ofertas de actores de IA. Del mismo modo, el detector funcionó a la perfección contra el deepfake real lanzado en marzo de 2022.

Sin embargo, el lento proceso de capacitación que requiere horas de video para cada persona de interés es menos adecuado para identificar falsificaciones profundas que involucran a personas comunes. «El objetivo más futurista sería hacer que estas tecnologías funcionen para las personas menos expuestas que no tienen tantos datos de video», dice Boháček.

Los investigadores ya han construido otro detector de falsificación profunda centrado en rastrear videos falsos del presidente estadounidense Joe Biden, y están considerando desarrollar modelos similares para figuras públicas como Vladimir Putin de Rusia, Xi Jinping de China y el multimillonario Elon Musk. Planean poner el detector a disposición de ciertas organizaciones de noticias y gobiernos.

Referencia de la revista: PNASDOI: 10.1073/pnas.2216035119

Más sobre estos temas:

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí