En 2017, el cofundador de Sensity AI, Giorgio Patrini, era investigador posdoctoral y trabajaba en modelos generativos profundos con Max Welling en la Universidad de Ámsterdam.
Esta investigación pionera se centró en la generación de imágenes con redes neuronales, lo que en aquel momento se traducía en crear pequeñas fotos de perfil con GAN (Generative Adversarial Networks) y VAE (Variational Autoencoders). Pero este trabajo, y otros similares, marcó el camino para los modelos generativos que pronto impulsarían todos los casos de uso de creación de contenido en imágenes, vídeo y audio, y pondrían el poder de lo que acabaría siendo la generación de “deepfakes” en manos de cualquiera.
En aquel momento, la comunidad tecnológica en general no reflexionaba sobre las probables consecuencias de este desarrollo: que, en el plazo de una década, la comunicación digital se desmoronaría de forma fundamental una vez que el contenido pudiera fabricarse con facilidad. La “realidad” dejaría de ser objetiva. Ya no se podría confiar en lo que se ve y se oye.
Patrini se dio cuenta de que poner herramientas de IA generativa en manos de actores maliciosos les daría inevitablemente nuevas formas de coaccionar, defraudar y atacar a otras personas. Era necesario un movimiento de respuesta.
El nacimiento de la detección de deepfakes
En marzo de 2018, Patrini se convirtió posiblemente en la primera persona en entrenar un detector de deepfakes, un avance que mostró resultados prometedores. Partiendo de la premisa de que los avances tecnológicos aumentarían rápidamente el realismo de los medios generados por IA, haciendo exponencialmente más difícil para los humanos identificar imágenes y audio sintéticos, Patrini se convenció de que pronto sería necesaria una tecnología de detección de deepfakes forensemente robusta que pudiera sostener la explicabilidad ante un tribunal.
Anticipándose a la tendencia, Patrini unió fuerzas con Francesco Cavalli, especialista en inteligencia de amenazas que investigaba el fenómeno de las “fake news” y sus efectos sociales en las comunidades de internet y la política, y a finales de 2018 nació Sensity AI como la primera empresa de detección de deepfakes del mundo.
Misión
Sensity AI existe para proteger a los estados, las organizaciones, las empresas y las personas frente a deepfakes maliciosos.
Visión
Un mundo en el que todos los medios digitales puedan autenticarse en tiempo real, para demostrar de forma concluyente si están manipulados por IA generativa o no.
¿Por qué?
Creemos que los medios generados por IA y los deepfakes son un problema social de la misma magnitud que el cambio climático: inevitable y transformador. La democratización de los medios generados por IA y los deepfakes está redefiniendo el significado de la confianza en lo que vemos y oímos, siempre que no lo experimentemos de primera mano.
Sensity AI es una respuesta a la realidad sintética
Consideramos los deepfakes maliciosos y tecnologías similares de medios sintéticos como una nueva ola de amenazas de ciberseguridad, con el potencial de afectar a todos los canales de comunicación audiovisual digital utilizados por cualquier persona.
Del mismo modo que el software antivirus se ha convertido en la solución omnipresente para analizar archivos obtenidos fuera de fuentes de confianza, concebimos un enfoque de verificación similar y sin fricciones para los medios audiovisuales. Lo que defendemos no es un software que pueda infectarse y manipularse con malware, sino los sentimientos, las opiniones y las acciones humanas, infectadas y manipuladas por vídeos falsos, suplantación, influencia y ciberfraudes sofisticados.
Sin embargo, y de forma crucial —y este es un diferenciador clave en el sector de la “detección de deepfakes”—, la solución que estamos construyendo es forensemente robusta. No creemos que baste con poder decir si “este contenido es sintético” o no; nuestro análisis debe ser concluyente y lo bastante explicable como para superar el estándar probatorio en un tribunal. De lo contrario, no aportaría seguridad real a las víctimas de ciberfraudes complejos generados por IA; sería solo una solución de casilla de verificación. Nuestro verdadero propósito se centra en un impacto significativo.
La tecnología de detección de deepfakes de Sensity AI funciona detectando las “huellas digitales” que quedan en fotos, vídeos y audio manipulados o generados sintéticamente. Para ello, entrenamos una red de aprendizaje profundo con grandes conjuntos de datos de deepfakes conocidos, donde aprende a identificar estas huellas a nivel de píxel, o mediante el análisis de sutiles artefactos acústicos. A medida que la tecnología de generación de deepfakes siga mejorando y las pistas visuales y auditivas de manipulación se vuelvan inevitablemente indetectables para los humanos, este análisis a nivel de máquina será esencial para detectar deepfakes de forma fiable.
Pero esto también debe ocurrir a escala. Un elemento llamativo del estado actual de la tecnología de creación de deepfakes, en comparación con hace solo 12 meses, es lo poco de conocimientos técnicos que necesita una persona para crear medios sintéticos. Ahora se crean millones de deepfakes inocuos y maliciosos cada día, y esto ha generado una carga de trabajo inasumible para investigadores forenses y especialistas de las fuerzas del orden encargados de hacer justicia para las víctimas de abuso sexual infantil, acoso, coacción y fraude.
No solo estamos redactando el manual para la detección precisa de medios deepfake maliciosos; también estamos ayudando a las autoridades a evolucionar el proceso forense para mantener el ritmo en un mercado que avanza rápidamente y seguir ofreciendo resultados.
Nuestra ventaja es que, ante todo, somos una empresa de aprendizaje profundo, y eso garantiza que podamos mantener el ritmo de un vector de amenaza que evoluciona con rapidez. Pero, aunque estamos desarrollando una solución tecnológica, también contamos con un sólido conocimiento del mayor impacto socioético de los deepfakes y de cómo se sentirá su impacto de numerosas maneras diferentes.
¿Cómo está cambiando la detección de deepfakes el análisis forense?