Les errements sexistes de l’intelligence artificielle

Une proportion effrayante de deepfakes, contenus créés grâce à l’intelligence artificielle, sont pornographiques et non consentis. Pour réguler le partage de ces images, les plateformes et les autorités françaises sont à la traîne.

Romain Haillard  • 6 mars 2024 abonné·es
Les errements sexistes de l’intelligence artificielle
© MARCUS BRANDT / DPA Picture-Alliance / AFP

Juste deux mots-clés dans un moteur de recherche, et un site dédié au partage de contenus pornographiques générés par intelligence artificielle (IA) nous ouvre ses portes. Sur ce forum, un espace de discussion affiche la possibilité de générer des images à partir de personnalités francophones. Son créateur indique réaliser des « fakes ». Habitué à opérer laborieusement avec de simples logiciels de montage, « uniquement dans le but de satisfaire des fantasmes visuels », il découvre les joies du progrès technologique.

Soit il remplace le visage d’une actrice d’une vidéo pornographique par le visage d’une autre femme, le face-swapping, soit il laisse une IA remplacer le corps habillé d’une femme par un corps nu. Les contenus sont synthétiques  mais vraisemblables. L’artisan demande aux membres du forum de simplement lui fournir le nom d’une personnalité, des photos de celle-ci et la situation dans laquelle elle doit se retrouver. Un internaute lui propose une Youtubeuse, demande de « juste la déshabiller » et indique qu’il la trouve « très souriante » en précisant : « Je l’adore. »

Sur le même sujet : « La sexualité masculine est une logique impérialiste »

Dans ce rapide échange entre hommes, le naturel de la situation sidère. Une personne propose un service à une autre et prend même quelques précautions morales. Il n’est pas question d’utiliser ses services pour se venger d’une femme, de l’utiliser pour des personnes inconnues, encore moins des mineures. Il ne s’agit pas non plus de « nuire à quelqu’un », mais d’un usage purement personnel. Rien n’est grave.

Les outils que nous utilisons sont programmés à 84 % par des hommes.

M. Saliou

Un autre site compile plus de dix mille images de femmes publiques françaises : ministres, athlètes, actrices, chanteuses, influenceuses. Un expert anonyme a compilé des chiffres qu’il a confiés au magazine Wired. Ils indiquent une phase d’accélération de la production de contenus de deepfakes à caractère pornographique : « À la fin de cette année [2023], plus de vidéos auront été produites en un an que toutes les années combinées. »

99 % des deepfakes concernent des femmes

Le phénomène a commencé en 2017. Samantha Cole, journaliste à Vice puis à 404 Media, l’annonçait : « Le porno assisté par intelligence artificielle est là et nous sommes tous foutus (1). » On pourrait dire plutôt « toutes foutues ». Selon une étude de 2023, 98 % de ces contenus sont pornographiques et 99 % concernent des femmes (2). La journaliste évoquait une vidéo où le visage de l’actrice Gal Gadot – elle a joué Wonder Woman – avait remplacé celui d’une actrice X.

Déjà, en 2017, ce face-swap était le fruit d’une personne seule, certes avec des compétences, mais à l’aide d’un logiciel libre d’accès. « L’alerte avait été donnée, mais personne n’a voulu réagir », commente Mathilde Saliou, journaliste à Next, site de référence sur les nouvelles technologies.

2

« States of deepfakes. Home Security Heroes », étude réalisée sur 95 820 vidéos de deepfake publiées sur plus de 100 sites.

Il y a un an, Mathilde Saliou signe Technoféminisme. Comment le numérique aggrave les inégalités (Grasset). « Les outils que nous utilisons sont programmés à 84 % par des hommes », avance-t-elle, avant de souligner : « Ils ont des angles morts. Ça ne serait pas problématique s’ils ne pensaient pas que ce qu’ils font est universel. S’il y avait plus de femmes, moins de CSP+ et plus de diversité, alors ces personnes auraient poussé à une prise en compte rapide des violences en ligne. »

Surtout, la modération n’est pas du goût du seul réseau où il est possible de poster du contenu pornographique : X, anciennement Twitter. Mais, depuis l’adoption du règlement européen sur les services numériques, le DSA, les plateformes sont contraintes de livrer quelques chiffres sur leur modération. Elon Musk, monarque absolutiste de la liberté d’expression, a donc embauché 52 personnes pour s’assurer du respect de la loi et des règles de X pour les publications francophones.

Blocages de mot-clé

Son réseau ne s’en est pas moins fait rattraper récemment par l’actualité. Plusieurs deepfakes de la chanteuse états-unienne Taylor Swift ont provoqué un emballement médiatique fin janvier. L’une des images a été vue plus de 45 millions de fois avant d’être supprimée. Dépassée par la situation, l’entreprise a décidé de bloquer temporairement la recherche « deepfake Taylor Swift » pour siffler la fin de la partie. D’autres plateformes ont pris la même décision de manière plus définitive. En 2018, Reddit a banni la recherche de deepfakes de son réseau. Les principales plateformes de visionnage de contenus pornographiques ont également bloqué la recherche du mot-clé « deepfake ».

Sur le même sujet : Intelligence artificielle : le cheval de Troie du techno-libéralisme

« Les responsabilités appartiennent à ceux qui ont le pouvoir : les plateformes », défend Laure Salmona, cofondatrice de l’association Féministes contre le cyberharcèlement et coautrice avec Ketsia Mutombo du livre Politiser les cyberviolences. Une lecture intersectionnelle des inégalités de genre sur Internet (Le Cavalier bleu, 2023). « Nous arrivons au point où il faudrait ne plus mettre de photos de soi sur les réseaux sociaux, s’exaspère-t-elle. Même mettre des vêtements à vendre sur Vinted expose à une mise à nu et à un partage sur des sites pornographiques. »

Une enquête d’Aurore Gayte sur le média en ligne Numerama avait montré l’existence d’un site où étaient compilées des images voyeuristes collectées sur Vinted. Un onglet « Undress AI » redirigeait vers un site qui proposait de passer n’importe quelle image à la moulinette dopée à l’IA pour synthétiser une image sans vêtements.

Données poubelles

Avec une pointe de fatalisme, Laure Salmona voit une ouverture dans ce phénomène : « Cette technologie remet en question la culpabilisation des victimes et des injonctions à maîtriser leurs images intimes. » Ces images peuvent même parfois être générées automatiquement. Melissa Heikkilä, journaliste à la MIT Technology Review, en a été la victime après avoir utilisé Lensa AI.

ZOOM : Une intelligence artificielle vendue à toutes les sauces

Cette technologie, qui est avant tout un domaine de recherche, a pour objectif « d’essayer de comprendre l’intelligence » et « de la modéliser avec des approches numériques », explique Malik Ghallab, chercheur en robotique et intelligence artificielle au CNRS. En clair, on demande à un ordinateur d’accomplir de lui-même une tâche. Si l’engouement semble récent, l’intelligence artificielle n’est pas si nouvelle.

Dès 1978, des IA affrontent les plus grands joueurs d’échecs. À cette époque, les modèles développés restent très spécifiques. « Chaque succès était très focalisé, donc très fragile dans son domaine, et il n’était pas extensible à d’autres domaines », indique Malik Ghallab. Un premier bond en avant se produit dans les années 2010 avec la maîtrise des réseaux de neurones, un modèle mathématique inspiré du cerveau humain.

L’IA va alors pouvoir être nourrie de grandes quantités de données, qui vont augmenter ses capacités d’analyse. Si on lui donne des milliers de photos de chats, par exemple, elle peut ensuite reconnaître un chat dans une image. Dès 2020, un autre saut technologique s’opère. Abreuvée de milliards d’informations diverses, l’IA est désormais capable non seulement de reconnaître, mais également de « générer des données qui font sens ». C’est ainsi que l’on produit du texte, des images, des programmes de conduite autonome ou de recherche médicale accélérée.

Pour Malik Ghallab, cette technologie « pose un certain nombre de problèmes, dont l’émergence de capacités que l’on n’attendait pas », lorsque le modèle d’IA développé est un réseau de neurones de dizaines de milliards d’éléments. Aux prémices de la recherche en IA, « la science était en avance sur la technique ». Aujourd’hui, c’est l’inverse. « La technique est en avance sur la science. Nous faisons plus de choses que ce que l’on comprend. »

Maxime Sirvins

L’application permet de créer, grâce à l’IA, des portraits à partir de selfies. Sur cent images produites à partir de ses photos, trente la représentaient seins nus, dans des tenues courtes ou dans des positions sexualisées. Selon elle, après comparaison avec une de ses collègues, blanche, ce sont ses origines asiatiques qui auraient conduit la machine à adopter ce biais.

Cette technologie remet en question la culpabilisation des victimes et des injonctions à maîtriser leurs images intimes.

M. Salmona

« Sur quelles données reposent ces modèles ? », réagit Mathilde Saliou. Dans son ouvrage, la journaliste relève cet adage de l’informatique : « Garbage in, garbage out », qui signifie que, si les données sont défectueuses à l’entrée, il y a de fortes chances que la machine ressorte des données poubelles (garbage). Lors des négociations autour de l’AI Act, le projet de règlement européen sur l’intelligence artificielle, des associations féministes comme Stop Fisha ont appelé à une plus grande transparence dans les usages des algorithmes et leurs données d’entraînement.

Du côté des autorités françaises, la prise en compte du problème semble lente au démarrage. « Le gouvernement n’est pas hostile, c’est juste un impensé », regrette Jean-Christophe Le Toquin, président de Point de contact, une association spécialisée dans le signalement et le retrait de contenus en ligne. Actuellement, la loi Sren, visant à réguler et à sécuriser l’espace numérique, prévoit plusieurs articles pour mieux prendre en compte dans la loi ces contenus non consentis.

Le gouvernement a proposé un amendement au Sénat pour créer un délit de publication de deepfake à caractère sexuel, puni de deux ans d’emprisonnement et de 60 000 euros d’amende. Une étape franchie pour Rachel Flore-Pardo, avocate et fondatrice du collectif Stop Fisha, qui se bat contre le cybersexisme et les cyberviolences.

Travail de Sisyphe

Mais des problèmes persistent en matière de prise en compte de la parole des victimes. « Pharos [portail de signalement des contenus illégaux en ligne] doit revoir son formulaire : il ne prend pas en compte la diversité des atteintes cybersexistes, notamment le deepfake pornographique. La plate­forme doit s’adresser à toutes les victimes », oppose l’avocate. Sur onze entrées possibles du formulaire, parmi lesquelles figurent « terrorisme », « acte de cruauté envers les animaux » et « spam », aucune ne fait explicitement mention d’une atteinte sexiste.

J’espère que dans dix ans, ou même avant, nous nous dirons : mais comment les gens vivaient dans cet environnement numérique ?

J-C. Le Toquin

La fondatrice de Stop Fisha soupire : « Dans le meilleur des cas, il y a une audience, une condamnation, mais même dans ce cas-là il n’y a pas les outils nécessaires pour s’assurer que le contenu ne sera pas republié. » Aujourd’hui, les victimes doivent faire ce travail manuellement, contenu par contenu : un travail de Sisyphe.

Sur le même sujet : Quand l’industrie préempte le progrès

« Nous pensons à mettre les gens au trou, mais que ­faisons-nous pour que les victimes soient soutenues ? », se demande Jean-Christophe Le Toquin. Des solutions techniques existent. Un contenu vidéo, une fois passé dans un algorithme dit « de hachage », peut être transformé en une signature unique. L’utilité la plus connue de ce type de fonction est de vérifier l’authenticité d’un fichier avant de le télécharger. S’il a été modifié, la signature change.

Dans ce cas précis, il permettrait de vérifier la présence d’un fichier identique dans un grand volume de données, comme un site de partage de vidéos pornographiques. « L’idée, à terme, c’est de créer une base de “hash”, de signatures, et de la mettre à disposition des plateformes pour permettre un retrait en continu », imagine le président de Point de contact. Une grande plateforme serait déjà partante pour adopter cette méthode.

« Risques limités »

« J’espère que dans dix ans, ou même avant, nous nous dirons : mais comment les gens vivaient dans cet environnement numérique ? J’espère que ça sera incompréhensible. » Une semaine après notre entretien avec le président de Point de contact, l’association a vu ses financements interrompus par le gouvernement. Considérée comme l’un des premiers signaleurs de confiance auprès de la plateforme Pharos, elle est amenée à disparaître faute de moyens, et avec elle son projet de retrait automatisé.

Le salut ne viendra pas non plus de l’Union européenne. Le règlement sur l’IA classe les deepfakes comme des systèmes à « risques limités ». Ils feront donc l’objet d’une régulation bien moins lourde que la reconnaissance faciale, par exemple.

Recevez Politis chez vous chaque semaine !
Abonnez-vous

Pour aller plus loin…

Chez les pêcheurs de la Manche, le Brexit fait encore des vagues
Reportage 30 octobre 2024 abonné·es

Chez les pêcheurs de la Manche, le Brexit fait encore des vagues

L’archipel des Minquiers a été le théâtre d’une manifestation inédite mi-octobre : des navires normands, bretons et jersiais se sont rassemblés pour manifester leur colère contre l’administration et les conséquences de la sortie du Royaume-Uni de l’UE.
Par Guy Pichard
Renvoi du procès Depardieu : « Porter plainte, c’est une journée sans fin »
Justice 28 octobre 2024 abonné·es

Renvoi du procès Depardieu : « Porter plainte, c’est une journée sans fin »

Le procès de Gérard Depardieu, accusé d’agressions sexuelles par deux femmes, Amélie, décoratrice et Sarah*, troisième assistante réalisatrice, est finalement reporté aux 24 et 25 mars, l’acteur n’ayant pas pu être présent du fait de son état de santé.
Par Hugo Boursier
Immigration : la course à l’extrême
Analyse 23 octobre 2024 abonné·es

Immigration : la course à l’extrême

Depuis quatre décennies, nos gouvernements de droite comme de gauche s’illusionnent en pensant qu’un durcissement des lois sur l’immigration fera reculer le vote d’extrême droite.
Par Michel Soudais
La société civile se mobilise déjà contre la future loi immigration de Bruno Retailleau
Enquête 23 octobre 2024 libéré

La société civile se mobilise déjà contre la future loi immigration de Bruno Retailleau

Aux premières loges face au basculement de la droite à l’extrême droite sur l’immigration, les associations s’inquiètent du sort à venir des migrants dans le pays. Avec les intellectuels engagés, elles se mobilisent contre la loi immigration et tentent d’organiser la riposte.
Par Nils Wilcke