La marca de agua digital y la procedencia del contenido requieren un enfoque multicapa para las fuerzas del orden
Dos anuncios recientes sobre marcas de agua digitales y procedencia de contenidos demuestran una mayor adopción por parte de la industria de tecnologías destinadas a ayudar a creadores, editores y consumidores a verificar el origen y el historial del contenido digital. Sin embargo, ninguno de los dos enfoques es una solución definitiva y solo exponen la necesidad de un enfoque multicapa para las fuerzas del orden y los investigadores forenses a la hora de identificar y clasificar el contenido sospechoso de haber sido generado por IA.
OpenAI ha integrado la tecnología de marca de agua digital SynthID de Google en sus herramientas generativas y ha lanzado una herramienta de verificación de imágenes que comprueba si una imagen se creó en ChatGPT, incluso a través de la API, o en Codex.
Al mismo tiempo, Google ha ampliado la detección de SynthID desde la aplicación Gemini a Lens, el modo IA, Circle to Search y Gemini en Chrome, por lo que ahora puede comprobar si un archivo tiene una marca de agua de SynthID en más aplicaciones.
OpenAI también ha añadido más soporte para los metadatos de Content Credentials, como parte de su trabajo con la Coalition for Content Provenance and Authenticity (C2PA), el grupo intersectorial que respalda el estándar técnico abierto para la procedencia del contenido.
Cualquier enfoque sobre la procedencia del contenido es ineficaz por sí solo
Sin embargo, en el anuncio, OpenAI reconoce que la marca de agua digital y los metadatos de las credenciales de contenido tienen una eficacia limitada como soluciones independientes, y que se requiere un enfoque multicapa. “Los metadatos C2PA son una base importante para la procedencia. Ayudan a que el contenido lleve información sobre su origen, cómo se creó o editó, y quién firmó esa información. Pero los metadatos no son infalibles. Pueden eliminarse, perderse durante las cargas y descargas, o romperse mediante transformaciones como cambios de formato de archivo, cambios de tamaño o capturas de pantalla”, afirma la empresa.
“Para que la procedencia sea más resistente, estamos adoptando un enfoque multicapa e incorporando marcas de agua a través de SynthID de Google DeepMind… SynthID incrusta una capa de marca de agua invisible que complementa los enfoques basados en metadatos C2PA”.
Pero aunque estas iniciativas son útiles para los creadores de contenido y las plataformas de distribución participantes para ayudar a generar confianza, informar a los consumidores y, potencialmente, disuadir a los delincuentes ocasionales —como aquellos que utilizan herramientas comerciales para crear deepfakes maliciosos con fines de fraude o acoso—, tienen un impacto limitado cuando se trata de delitos más graves e intenciones maliciosas.
Tanto la marca de agua digital como los metadatos de las credenciales de contenido son soluciones que se pueden eludir de forma trivial.
Los desarrolladores señalan que Stable Diffusion con una fuerza de eliminación de ruido del 10-15 % puede eliminar la marca de agua, al igual que un nodo ComfyUI, y ya existe al menos un repositorio de GitHub para revertir la marca de agua de SynthID.
En cuanto a los metadatos de las credenciales de contenido, estos pueden editarse o eliminarse fácilmente. De hecho, uno de los mayores obstáculos para este enfoque surge a través de la simple distribución. Cuando los archivos se cargan y distribuyen de forma orgánica, como a través de las redes sociales, las plataformas suelen copiar los componentes visuales y de audio del archivo en un nuevo contenedor, ignorando los metadatos originales y degradando las firmas incrustadas mediante la compresión.
Los actores maliciosos ocultan deliberadamente el origen del contenido sintético
Tanto para los delincuentes ocasionales como para los graves, existe la tecnología necesaria para que los actores malintencionados eliminen deliberadamente las marcas de agua y los manifiestos C2PA para eludir la detección de las iniciativas de la industria a gran escala con poco esfuerzo.
Pero el mayor fallo de estas mismas iniciativas, impulsadas en gran medida por la presión de los consumidores y los reguladores, es que son opcionales y requieren una participación voluntaria, razón por la cual probablemente solo las veremos aplicadas a herramientas comerciales y convencionales.
También existe un mercado clandestino que atiende al “crimen como servicio” (Crime-as-a-Service), donde se pueden utilizar generadores de IA que no cumplen las normas para generar deepfakes sin etiquetar, o para eludir los controles de identidad KYC (Know Your Customer) para ayudar a los delincuentes a escalar rápidamente sus operaciones de fraude.
Además, como revelamos en nuestro reciente informe, El papel de los deepfakes en la guerra cognitiva, los estados-nación, los hacktivistas y otros actores con motivaciones políticas utilizan deepfakes para campañas de influencia sofisticadas, operaciones psicológicas y guerra cognitiva. Estos actores ocultan activamente las etiquetas de contenido de IA para garantizar que su contenido engañoso no sea marcado como tal.
En última instancia, el desafío para todas las formas de autoetiquetado de contenido generado por IA es que se trata de un enfoque voluntario, y siempre existirá un ecosistema de actores maliciosos con incentivos para ocultar el hecho de que su contenido es sintético.
Los investigadores deben implementar múltiples comprobaciones en el momento de la recepción de pruebas
Desde una perspectiva de triaje, tiene sentido incorporar comprobaciones de marcas de agua digitales y metadatos de credenciales de contenido en el flujo de trabajo de la investigación. Este enfoque puede ayudar a identificar contenido sintético que cumple las normas entre grandes volúmenes de pruebas, y también detectará intentos poco elaborados de crear contenido malicioso utilizando herramientas comerciales.
Sin embargo, desde el punto de vista forense, las comprobaciones de autenticidad y procedencia basadas en estas iniciativas a gran escala no se sostendrán ante un tribunal, ya que los metadatos pueden eliminarse fácilmente y los eliminadores de ruido de código abierto pueden borrar las marcas de agua. Ninguna técnica de procedencia es suficiente por sí sola.
Para combatir esto, las fuerzas del orden y los investigadores forenses también deben incorporar tecnologías complementarias en sus flujos de trabajo para garantizar una verificación sólida de los medios y una cadena de custodia auditable. Se pueden utilizar herramientas forenses especializadas para proporcionar una segunda opinión o una revisión experta en circunstancias que requieran pruebas técnicas adicionales y ayuden a alcanzar el umbral para la autenticación de pruebas en los tribunales.
Hablamos de todo esto en nuestro reciente podcast: la C2PA y otras iniciativas similares son un verdadero paso adelante y la idea de integrar la procedencia directamente en el contenido en el momento de su creación es elegante y, para quienes actúan de buena fe, ofrece un valor real. Pero, fundamentalmente, la C2PA y las marcas de agua son sistemas basados en la confianza y la participación voluntaria.
En una habitación llena de botellas sin verificar, la etiqueta de la botella solo ayuda si el envenenador decidió etiquetarla. La procedencia le indica de dónde vino algo, si el creador decidió decírselo. La detección tiene que funcionar cuando no lo hicieron.
