Para automatizar todas las técnicas forenses que van apareciendo a la hora de detectar DeepFakes, nosotros nos hemos hecho un servicio en el integramos cada nueva herramienta pensada para detectar un tipo de vídeo falsificado con DeepFakes, así tenemos una opinión clara de cuáles son las probabilidades de que estemos ante una estafa.

Se trata solo de tener una visión completa y actualizada de lo que opinan las diferentes soluciones que van apareciendo día a día en este mundo de las técnicas forenses de DeepFakes.

Su funcionamiento es muy sencillo, basta con subir un vídeo o darle la URL de donde está publicado, y lo pasamos por las herramientas forenses que se van publicando en GitHub gracias a los artículos científicos anteriormente citados.

El funcionamiento es muy sencillo. Se le proporciona el vídeo para saber qué opinión tiene al respecto el sistema, y nos dice qué han dicho cada una de las herramientas que hemos lanzado para analizarlo.

En el momento del ejemplo, DeepFake Exposer implementa las herramientas proporcionadas por estos cuatro artículos científicos de los que hemos hablando con anterioridad.

Para nosotros es una solución cómoda, porque nos permite ir metiendo todos los avances en el análisis forense de DeepFakes, y poder tener una visión holística.

Dentro de todas las medidas que se están desarrollando para detectar DeepFakes, son especialmente importantes aquellas. que se pueden incluir directamente en un sistema de videoconferencia en tiempo real para detectar que alguien se está enmascarando detrás de una GAN cuando estás teniendo una reunión virtual con él. Es decir, detectar que estás hablando con un Virtual Replicant - haya detrás un humano o un bot -en lugar de con la persona de verdad que se encuentra detrás de esa máscara que estás viendo. Para ello, vamos a ver un par de técnicas que se han popularizado, y que buscan detectar biometría humana creíble en las imágenes transmitidas por vídeo.

Fue una de las primeras medidas para detectar humanos en vídeos que pudieran haber sido falsificados con DeepFakes. Básicamente se basa en que una persona adulta sana, generalmente, entre cada parpadeo hay un intervalo de 210 segundos, pero las tasas reales varían según el individuo y la actividad que esté realizando. La velocidad media de parpadeo en reposo es de 17 parpadeos/min o 0.283 parpadeos por segundo. Durante la conversación, esta tasa aumenta a 26 parpadeos/min, y disminuye a 4,5 parpadeos/segundo mientras que la lectura de esta diferencia puede ser interesante en nuestro análisis, ya que muchos de los políticos que hablan probablemente estén leyendo cuando están siendo filmado. 

La duración de un parpadeo puede oscilar entre 0.1-0.4 segundos/parpadeo. Por lo tanto, tomaremos como referencia de parpadeo normal una duración en el intervalo 0.1-0.4 segundos y una tasa de parpadeo que oscile entre los 17 y los 26 parpadeos/min. La detección del parpadeo de una persona es un problema de visión artificial que los servicios cognitivos llevaban tiempo analizando. En nuestro ejemplo implementamos esta solución de Pathak-ashutosh.

No llegamos a implementar una solución específica para calcular si estaban los parámetros humanos o no, sólo hicimos una aproximación contando los parpadeos y ajustándolo a los datos dentro del rango humano (básico). Teniendo los datos, es sencillo implementar la solución completa propuesta en el artículo anterior.

   
2020 - Detección de pulso con DeepFakesON-Phys

Otra de las técnicas que se ha comenzado a utilizar en la detección de Virtual Replicants utilizando DeepFakes es la de estimar si el latido del corazón - el pulso - es normal para la imagen que estamos viendo. Para ello se trata de monitorizar con imágenes la detección del pálpito del corazón.  Las dos técnicas más utilizadas para esto son la Fotopletismografía en remoto (rPPG) y el Balistocardiograma (BCGs). Nos centramos en la Plestimografía y más en concreto en, como hemos dicho en La Fotoplestimografía.


La Plestimografía es una técnica del cálculo del latido del corazón de un individuo a través de los distintos cambios de presión que sufre su piel, y es muchas veces utilizada para monitorizar a un individuo en cuestión, convirtiéndose también en un problema a resolver en el mundo de la visión artificial como Fotoplestimografía, como se puede ver en el artículo científico anterior del año 2013.

La Fotoplestimografía en remoto es una técnica de Computer Vision que intenta emular esa técnica utilizando un vídeo del sujeto y, por tanto, calcular los cambios de presión a partir de diferencias de intensidad de píxel en los canales RGB de éste el movimiento de la cabeza y la respiración. Esta técnica tiene muchas desventajas debido a que su precisión está altamente influenciada por parámetros externos, como la luz ambiental, la calidad de la cámara, el color de piel del individuo o la distancia entre la cámara y el sujeto, pero nos puede servir para detectar DeepFakes como explica el artículo científico de DeepFakesON-Phys.


En la figura anterior aparece la arquitectura del modelo utilizado en DeepFakesON-Phys, que se basa en dos modelos de redes neuronales: Motion Model para la detección de movimiento de la cabeza, y Appearance Model, para la detección de cambios en la densidad de píxel.

Como se puede ver en este ejemplo donde analizamos las imágenes que se reciben por una webcam, podemos ver los dos análisis que nos dan datos para poder saber si son normales o no, y estamos hablando con una persona o un Virtual Replicant.    

Virtual Replicants del futuro cercano: Metahuman & Bots con AI

Un paso más hacia la creación de los Virtual Replicants o Digital Clones completos es MetaHuman. Creado por EpicGames utilizando el motor de Unreal, nos acerca a un nivel de detalle realmente espectacular. Podemos modelar personas y moverlas como queramos, con sus expresiones humanas completas y detalles como los poros de la piel, parpadeo, respiración, etcétera. Una herramientas más que ayudará la demotraticación de las DeepFakes que habrá que tener muy en cuenta en un futuro cercano, exigiendo que las técnicas de biometría sean cada vez más perfectas, porque podrían emular todo.

Aunque en principio Metahuman no permite renderizar con fotos o imágenes externas - de momento tiene modelos predefinidos para ir jugando con ellos -, esto será posible seguro en un breve intervalo de tiempo. Por lo tanto, con una o varias fotos de calidad, será posible crear un modelo en 3D de la persona que queramos, con un nivel de detalle realmente espectacular.