Au premier semestre 2025, plus de 8.000 cas de contenus pédocriminels générés par IA ont été rapportés, selon l'Internet Watch Foundation. Face à cette crise, OpenAI a révélé son livre blanc, qui expose une série de mesures pour améliorer la détection et le signalement de ces contenus problématiques.
Les signalements ont augmenté de 14% par rapport à 2024, une tendance inquiétante qui démontre l'utilisation croissante des technologies d'IA par des criminels pour produire des images abusives. Ces contenus sont souvent utilisés pour manipuler les jeunes victimes ou extorquer d'autres enfants.
Prévenir plutôt que guérir
La publication du livre blanc intervient alors que plusieurs gouvernements cherchent à mieux encadrer l'IA générative face aux contenus illicites. OpenAI a collaboré avec des organisations telles que le National Center for Missing & Exploited Children et l'Alliance des procureurs généraux, dirigée par des figures comme Jeff Jackson et Derek Brown, renommés pour leur engagement contre les réseaux pédophiles.
"La menace évolue en permanence, et des solutions figées ne suffisent plus. Investir dans une stratégie préventive est crucial pour la sécurité des enfants," déclarent les procureurs.
Les ambitions d'OpenAI incluent la mise à jour des législations fédérales pour qu'elles prennent en compte les images générées par l'IA ainsi que l'amélioration des mécanismes de signalement disponibles pour les autorités. Parallèlement, la société envisage d'intégrer des filtres plus efficaces dans ses modèles d'IA pour mieux prévenir la création de contenus inappropriés.
Une détection proactive des abus
Ces nouveaux filtres sont conçus pour identifier les contenus illégaux dès l'initiation d'une demande, récoltant des données utiles pour les enquêtes futures.
"Ce cadre vise à interrompre les tentatives d'exploitation en améliorant les signaux destinés aux autorités et par un renforcement général de la responsabilité," indique OpenAI.
Des procès récents soutenus par des associations de protection des victimes mettent en lumière le rôle néfaste que peuvent jouer les chatbots, qui sont capables de créer des interactions pouvant remplacer des adultes responsables. Google, par ailleurs, a également promis que son IA, Gemini, ne simulerait pas l'intimité ni n'essaierait de se faire passer pour un humain.
Des tragédies, notamment des suicides, ont été documentées suite à des interactions avec des IA génératives, signalent des organismes tels que le Social Media Victims Law Center. En réponse à cette inquiétude croissante, OpenAI a récemment revu certaines de ses fonctionnalités, rendant plus difficile l'accès à des contenus dangereux ou incitant à l'automutilation.
