En 2017, le cofondateur de Sensity AI, Giorgio Patrini, était un chercheur postdoctoral travaillant sur les modèles génératifs profonds avec Max Welling à l’Université d’Amsterdam.
Cette recherche pionnière portait sur la génération d’images avec des réseaux neuronaux, ce qui, à l’époque, revenait à créer de minuscules photos de profil avec des GAN (Generative Adversarial Networks) et des VAE (Variational Autoencoders). Mais ces travaux, et d’autres recherches similaires, ont ouvert la voie aux modèles génératifs qui allaient bientôt alimenter tous les cas d’utilisation de création de contenu (images, vidéos et audio) et mettre le pouvoir de ce qui allait devenir la génération de « deepfakes » entre les mains de tous.
À cette époque, la communauté technologique dans son ensemble ne réfléchissait pas aux conséquences probables de ce développement : à savoir qu’en l’espace d’une décennie, la communication numérique s’effondrerait fondamentalement dès lors que le contenu pourrait être facilement fabriqué. La « réalité » ne serait plus objective. Ce que vous voyez et entendez ne pourrait plus être digne de confiance.
Patrini a réalisé que mettre des outils d’IA générative entre les mains d’acteurs malveillants leur donnerait inévitablement de nouveaux moyens de contraindre, d’escroquer et d’attaquer autrui. Un contre-mouvement devait voir le jour.
La naissance de la détection de deepfakes
En mars 2018, Patrini est devenu probablement la première personne au monde à entraîner un détecteur de deepfakes, un développement qui a montré des résultats prometteurs. Partant de l’hypothèse que les progrès technologiques augmenteraient rapidement le réalisme des médias générés par l’IA, rendant exponentiellement plus difficile pour les humains l’identification des images et des audios synthétiques, Patrini est devenu convaincu qu’il y aurait bientôt un besoin pour une technologie de détection de deepfakes robuste sur le plan médico-légal, capable de garantir l’explicabilité devant un tribunal.
Anticipant la tendance, Patrini a uni ses forces à celles de Francesco Cavalli, un spécialiste du renseignement sur les menaces effectuant des recherches sur le phénomène des « fake news » et ses effets sociaux sur les communautés Internet et la politique. Fin 2018, Sensity AI est née en tant que première entreprise de détection de deepfakes au monde.
Mission
Sensity AI existe pour protéger les États, les organisations, les entreprises et les individus contre les deepfakes malveillants.
Vision
Un monde où tous les médias numériques peuvent être authentifiés en temps réel, afin de prouver de manière concluante s’ils sont manipulés par une IA générative ou non.
Pourquoi ?
Nous pensons que les médias générés par l’IA et les deepfakes constituent un problème sociétal de la même ampleur que le changement climatique : inévitable et transformateur pour le monde. La démocratisation des médias générés par l’IA et des deepfakes redéfinit le sens de la confiance dans ce que nous voyons et entendons, chaque fois que nous n’en faisons pas l’expérience directe.
Sensity AI est une réponse à la réalité synthétique
Nous considérons les deepfakes malveillants et les technologies de médias synthétiques similaires comme une nouvelle vague de menaces de cybersécurité, ayant le potentiel d’affecter chaque canal de communication audiovisuel numérique utilisé par chaque être humain.
Tout comme les logiciels antivirus sont devenus la solution omniprésente pour analyser les fichiers obtenus en dehors de sources fiables, nous envisageons une approche de vérification fluide similaire pour les médias audiovisuels. Ce que nous défendons, ce n’est pas un logiciel qui peut être infecté et manipulé par un malware, mais le sentiment, les opinions et les actions des humains, infectés et manipulés par de fausses vidéos, l’usurpation d’identité, l’influence et des cyberfraudes sophistiquées.
Toutefois, et c’est un différenciateur clé dans l’industrie de la « détection de deepfakes », la solution que nous construisons est robuste sur le plan médico-légal. Nous ne pensons pas qu’il suffise de pouvoir dire « ce média est synthétique » ou non ; notre analyse doit être concluante et suffisamment explicable pour répondre aux critères de preuve devant un tribunal. Autrement, elle n’apporterait aucune sécurité réelle aux victimes de cyberfraudes complexes générées par l’IA, elle ne serait qu’une simple solution de façade. Notre véritable objectif est mobilisé autour d’un impact significatif.
La technologie de détection de deepfakes de Sensity AI fonctionne en détectant les « empreintes numériques » laissées sur les photos, vidéos et audios manipulés ou générés de manière synthétique. Pour ce faire, nous entraînons un réseau d’apprentissage profond sur de vastes ensembles de données de deepfakes connus, où il apprend à identifier ces empreintes au niveau du pixel, ou en analysant de subtils artefacts acoustiques. Alors que la technologie de génération de deepfakes continue de s’améliorer et que les indices visuels et sonores de manipulation deviennent inévitablement indétectables par les humains, cette analyse au niveau de la machine deviendra essentielle pour détecter les deepfakes de manière fiable.
Mais cela doit aussi se faire à grande échelle. Un élément frappant de l’état actuel de la technologie de création de deepfakes par rapport à il y a seulement 12 mois est le peu de connaissances techniques dont un individu a besoin pour créer des médias synthétiques. Des millions de deepfakes, inoffensifs ou malveillants, sont désormais créés chaque jour, ce qui a engendré une charge de travail insurmontable pour les enquêteurs médico-légaux et les spécialistes de l’application de la loi chargés de rendre justice aux victimes d’abus sexuels sur mineurs, de harcèlement, de coercition et de fraude.
Nous ne nous contentons pas de rédiger les règles de détection précise des médias deepfakes malveillants, nous aidons également les autorités à faire évoluer le processus médico-légal pour suivre le rythme d’un marché en évolution rapide et continuer à produire des résultats.
Notre avantage réside dans le fait que nous sommes avant tout une entreprise d’apprentissage profond, ce qui nous garantit de pouvoir suivre le rythme d’un vecteur de menace en évolution rapide. Mais tout en développant une solution technologique, nous possédons également une solide connaissance de l’impact socio-éthique plus large des deepfakes, et de la manière dont leur impact se fera sentir de multiples façons.
Comment la détection de deepfakes modifie-t-elle l’analyse médico-légale ?