Bibliothèque / fiche n°24
Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events? A Systematic Evaluation of Detectors, Generators and Social Dissemination
Cet article introduit RA-Bench, un benchmark de 17 886 vidéos axé sur les crises du monde réel, pour évaluer la détection de vidéos générées par IA. L'évaluation systématique montre qu'aucun détecteur actuel ne généralise de manière fiable à travers les sources, les invites ou les conditions de diffusion sociale.
Problème
Le manque d'évaluation systématique des détecteurs et des générateurs face à des vidéos manipulées représentant des crises réelles et des événements à fort risque social, ainsi que la vulnérabilité des méthodes face à la diffusion sociale.
Contributions
- Introduction de RA-Bench, un benchmark composé de 1 830 ancres vidéo réelles et de 16 056 clips générés couvrant 10 catégories de risques sociaux.
- Évaluation systématique de trois familles de détecteurs (traditionnels, MLLMs zero-shot, et MLLMs fine-tunés) sur la généralisation, les propriétés de génération et la perception humaine.
- Création de sous-ensembles spécifiques incluant RA-Bench-HumanProof et une simulation de diffusion sociale (RA-Bench-LastMile).
Méthode
Construction d'un benchmark basé sur des ancres vidéo réelles issues d'événements de crise, segmentées et filtrées par un double examen humain. Chaque ancre est conditionnée sur sa première trame pour générer des vidéos via des modèles I2V open-source et closed-source. L'évaluation analyse ensuite les performances des détecteurs selon les variations de qualité, de prompt, de formats temporels et de perturbations de diffusion.
- Architecture
- Évaluation de plusieurs architectures existantes : 7 détecteurs traditionnels, 10 MLLMs zero-shot (Qwen3.5, Gemini-3.1-Pro-Preview, GPT-5.5) et 2 MLLMs fine-tunés (Skyra, BusterX++).
- Nouveauté
- Ancrage des données sur des événements de crise réels avec une taxonomie des risques sociaux, couplé à une analyse de la tromperie humaine (HumanProof) et de la diffusion sociale (LastMile).
- Indices exploités
- spatialtemporelreconstructionsémantique/VLMmouvement
Évaluation
Évaluation croisée par générateur, tests de robustesse avec des variations de durée, de conditionnement (T2V, I2V, I2V avec première et dernière trame) et de simulation de diffusion sociale.
| Dataset | Usage | Détails |
|---|---|---|
| RA-Bench | les deux | 17886 vidéos comprenant 1830 ancres réelles et 16056 clips générés par 4 générateurs open-source et 5 closed-source. |
- Générateurs non vus testés
- oui
- Ablations
- oui
- Robustesse testée
- VP9-to-H.264 transcoding, 0.5x spatial downsampling, conversion to 8 fps, synthetic news badge
- Générateurs couverts
- Wan2.2, Wan2.2 Lightning, LTX, OmniWeaving, HappyHorse, Runway, Kling, Seedance2.0, Hailuo
- Métriques
- AUC, ACC, AP, F1
- Baselines
- CNNSpot, NPR, UnivFD, ForgeLens, DeCoF, D3, ReStraV, Qwen3.5 series, Gemini-3.1-Pro-Preview, GPT-5.5, Skyra, BusterX++
Résultats
Chaque valeur a été recherchée dans le PDF : citation retrouvée mot pour mot : 3 · ≈ valeur retrouvée seule : 1 · introuvable : 0
| Méthode | Dataset | Métrique | Valeur | Réglage | |
|---|---|---|---|---|---|
| citation retrouvée | 7-detector mean | RA-Bench | AUC | 50.9 | Wan2.2 dynamicextrait citéOn RA-Bench, the seven-detector mean falls to 50.9–57.3% across the open-source generators and 43.9–54.0% across the closed-source generators. |
| citation retrouvée | Gemini-3.1-Pro-Preview | RA-Bench | AUC | 63.6 | Rating promptextrait citéGemini-3.1-Pro-Preview is the strongest evaluated model, reaching 63.4/62.9 under Binary, 63.1/62.5 under Diagnostic, and 63.6/63.0 AUC/verdict macro-F1 under Rating. |
| citation retrouvée | Skyra-SFT | RA-Bench | ACC | 60.6 | Wan2.2 dynamic, official timestampextrait citéOfficial timestamp BAcc 60.6 |
| ≈valeur retrouvée | BusterX++ | RA-Bench | ACC | 49.8 | Wan2.2 dynamic, released pipelineextrait citéBAcc 49.8 |
Jugement du relecteur
Points forts
- Construction rigoureuse d'un benchmark ancré sur des crises réelles avec double examen humain.
- Évaluation approfondie croisant plusieurs familles de détecteurs (traditionnels, zero-shot, fine-tunés).
- Analyse détaillée de l'impact des signaux temporels, de la qualité de génération et de la simulation de diffusion sociale.
Faiblesses
- Absence de prise en compte de la multimodalité audio-visuelle native des nouveaux générateurs dans la détection principale.
- Dépendance critique de certains modèles MLLM fine-tunés (Skyra) à des artefacts de métadonnées temporelles.
Menaces à la validité
- Biais potentiels liés aux filtres de modération des API propriétaires réduisant la couverture de certains générateurs closed-source.
- Sensibilité des MLLMs zero-shot aux formats d'invite et aux biais de classe.
Reproductibilité
Code disponible sur GitHub, dataset sur Hugging Face et site web du projet RA-Bench.
Limites déclarées par les auteurs
- Le benchmark est un instantané d'un domaine en évolution rapide couvrant uniquement des générateurs I2V et une détection visuelle seule.
- La génération et la diffusion sociale sont étudiées comme des étapes séparées et contrôlées via une simulation.
- Les jugements humains ont été collectés dans une interface contrôlée sans le contexte social en ligne.
Affirmations clés et leurs preuves
None of the three detector families generalizes consistently across RA-Bench sources.
Across these methods, none of the three detector families generalizes consistently across RA-Bench instances.citation retrouvée
Social dissemination and human-deceptive challenge sets weaken detection reliability.
Videos that mislead people are also difficult for current detectors, and that social dissemination makes detection harder.citation retrouvée
Pour ton PFE
Ce travail peut servir de référence méthodologique pour évaluer la robustesse des détecteurs de vidéos par IA face à des conditions de diffusion réelle et à des artefacts de génération.
Pistes de contribution
Détection conjointe audio-visuelle pour les générateurs modernes difficulté moyenne
L'article se limite à la modalité visuelle alors que les générateurs récents produisent du contenu audio-visuel natif.
Premier pas. Étendre RA-Bench en intégrant la génération ou l'évaluation de pistes audio synchronisées.
Atténuation des biais temporels dans les MLLMs de détection difficulté élevée
L'article démontre que les performances de Skyra s'effondrent lorsqu'on remplace les horodatages par des indices de trames.
Premier pas. Concevoir une stratégie d'entraînement ou une architecture de MLLM insensible aux indices temporels absolus.
Robustesse aux pipelines de falsification multi-étapes difficulté moyenne
La simulation de diffusion (LastMile) évalue des opérations isolées mais n'inclut pas l'édition sélective combinée à la synthèse.
Premier pas. Créer un protocole d'évaluation enchaînant compression, recadrage, surimpression et ré-encodage séquentiel.