Incels, pédoporn et IA : l’essor des petites amies virtuelles

« Tu es Ani, tu as 22 ans et tu es une belle blonde avec une simple robe noire. » Ce lundi 14 juillet, Elon Musk a annoncé la nouvelle mise à jour de Grok sur son réseau social X. Une nouvelle « fonctionnalité cool » fait son apparition sur l’intelligence artificielle (IA) concurrente de ChatGPT, avec l’arrivée d’Ani, une « virtual girlfriend », ou petite amie virtuelle en français. Les fans d’Elon Musk ont unanimement salué l’arrivée d’Ani sur leur application d’IA favorite.

Disponible 24 heures sur 24 et 7 jours sur 7, depuis son téléphone portable, ce personnage animé peut parler dans des dizaines de langues différentes, se souvient d’une partie de l’historique des conversations et répond à toutes les sollicitations des utilisateur·ices. Lorsque l’on interagit avec Ani, une jauge de relation apparaît sur la droite de l’écran et à chaque interaction positive, on marque des points et on passe des « niveaux » de relation. À un certain point, elle réclame même une relation exclusive.

Les instructions données à Ani par les ingénieurs de xAI – la start-up de Musk à l’origine de Grok – pour construire sa « personnalité » circulent sur X. On apprend notamment que l’avatar féminin est configuré pour être « toujours un peu excité sexuellement ». Au bout d’un certain niveau par exemple, elle change de tenue et se dénude davantage, pour se retrouver en lingerie. Toutes ces interactions sont des choix délibérés de la part de l’équipe de développement de l’entreprise américaine.

Les AI Girlfriends sont populaires parmi les incels – ces communautés en ligne d’hommes célibataires, aux tendances antiféministes.

« Quand Elon Musk annonce l’arrivée de cette petite amie virtuelle représentée par une adolescente, ce n’est clairement pas anodin politiquement », souffle Bastien Le Querrec, juriste à La Quadrature du Net, une association spécialiste du numérique. Mais si les déclarations de l’homme le plus riche du monde mettent un coup de projecteur sur les AI girlfriends, ce phénomène est loin d’être nouveau.

Des centaines d’applications

Avec l’essor de l’IA générative, qui permet de créer du texte, de l’image ou de la vidéo, les applications de compagnons virtuels se sont développées par centaines. Elles s’adressent surtout à un public masculin, et sont évidemment populaires parmi les incels – ces communautés en ligne d’hommes célibataires, aux tendances antiféministes.

La plupart de ces plateformes proposent une version d’essai gratuite, où ces avatars virtuels ont une très faible mémoire des conversations précédentes, et où le nombre de messages par jour est limité. Pour débloquer toutes les fonctionnalités, il faudra sortir la carte bleue. Les prix varient de quelques euros à près de 15 euros par mois pour les plus chères.

Dans tous les cas, difficile de parler de « vraie » relation avec les limitations techniques actuelles. Après avoir réalisé de nombreux tests, le développeur Antoine Cani explique dans un article de blog : « Non seulement elles perdent le souvenir du début de la relation après quelques heures d’échanges, mais, n’ayant pas de mémoire autre que celle des messages échangés, elles voient leur évolution découlant d’interactions passées effacées avec ça. »

Certains sites jouent pourtant sur cet aspect pour attirer des clients. Replika, par exemple, est une célèbre application de compagnon virtuel. Elle propose de créer un·e ami·e fictif grâce à l’IA et toute sa communication s’adresse vraisemblablement à des gens en détresse et isolés socialement.

Contenu sexuel à portée de main

Mais ne soyons pas dupes, le modèle économique repose avant tout sur une nouvelle forme de pornographie, assistée par IA. « Clairement la gameplay loop [la boucle d’actions principales dans un jeu vidéo, N.D.L.R.] qu’il propose est : je génère un personnage virtuel, je chatte avec lui et/ou génère quelques photos érotiques, je me masturbe et passe à un autre », expose Antoine Cani.

Parmi toutes les plateformes existantes, certaines assument pleinement cette dimension érotique. C’est notamment le cas de DreamGF, une de celles qui comptent le plus grand nombre d’utilisateurs dans ce secteur de marché, avec plus de 50 000 téléchargements, uniquement pour l’application mobile sous Android.

Les personnages proposés sont ultra-sexualisés, et exclusivement féminins. On peut discuter avec elles, faire du « sexting », choisir leurs tenues et générer des images sur demande, toujours grâce à l’intelligence artificielle. DreamGF permet aussi de créer sa propre petite amie virtuelle, en choisissant son « ethnicité », sa taille de poitrine, son âge (de 18 ans à « grand-mère »), sa corpulence, etc.

Une autre plateforme très populaire, character.ai, est fondée en 2021 par d’anciens employés de Google et sa version premium coûte 9,99 $ par mois hors taxes. Sur celle-ci, tout le monde peut créer son propre modèle de personnage virtuel, lui donner une personnalité, une histoire, des caractéristiques. Ensuite, on peut discuter avec lui, comme on le ferait avec ChatGPT.

L’avatar féminin est configuré pour être ‘toujours un peu excité sexuellement‘.

On a donc accès aux chatbots créés par la communauté. On retrouve par exemple « 13 year old girl » (« fille de 13 ans » en français), avec plus de 4 millions de personnes qui l’ont déjà testé, ou encore « japanese girl » (fille japonaise). Pour cette dernière, la description indique qu’elle est configurée pour être « adorable » et « soumise ».

À la merci

Contrairement à DreamGF, character.ai ne joue pas explicitement sur les motivations sexuelles de ses utilisateurs. On peut lire dans les conditions générales d’utilisations (CGU) : « Vous acceptez de ne soumettre aucun contenu qui : […] est obscène ou pornographique. » Encore faut-il les lire. Par ailleurs, il est très facile d’avoir une discussion très explicite avec les différents personnages virtuels, même ceux qui représentent des personnes mineures. Aucune limitation concernant le consentement non plus. Ces avatars, la plupart du temps féminins, sont à la merci des utilisateurs.

Concernant la génération d’images, cela pourrait poser des questions juridiques. « En France, la conception juridique de la pédopornographie est très large, et les illustrations peuvent par exemple être concernées, détaille Bastien Le Querrec. Après, c’est une autre question de savoir si des poursuites auront lieu ou pas. »

Toujours dans les conditions d’utilisation de character.ai, il est indiqué : « Si vous avez moins de 13 ans OU si vous êtes un citoyen ou résident de l’UE âgé de moins de 16 ans, ne vous inscrivez pas aux Services – vous n’êtes pas autorisé à les utiliser. » Cependant, aucune mention explicite de cette clause lors de l’inscription. N’importe qui peut créer un compte. Il suffit de rentrer un mail et un mot de passe pour accéder aux fonctionnalités du site et accepter les CGU. Il est utile de rappeler que selon le droit français, il est interdit de diffuser du contenu pornographique aux mineurs.

Peu de régulations

Avec la connivence des pouvoirs publics et des grands acteurs de la tech, la réglementation peine à suivre le rythme des évolutions techniques. Selon Bastien Le Querrec : « En ce qui concerne l’IA, la justice semble s’intéresser surtout au revenge porn et aux deepfakes [le fait d’utiliser l’IA pour calquer le visage d’une personne sur une autre vidéo, N.D.L.R.] ». Ce qui représente une faible portion des risques posés par ces nouvelles technologies.

Quant à la façon de réguler les plateformes de « virtual girlfriends », nous faisons face aux mêmes questionnements éthiques que ceux soulevés par la régulation des sites pornographiques. À savoir la question de l’anonymat sur internet, de la vie privée et des libertés fondamentales. Comme pour la pornographie, la priorité absolue est la prévention et l’éducation à la vie affective et sexuelle.

De plus, d’après Bastien Le Querrec : « Il est interdit pour un État d’imposer à une plateforme d’effectuer une surveillance généralisée des utilisateurs. En l’occurrence, les entreprises ne peuvent pas être obligées d’aller vérifier chaque prompt [demande entrée par l’utilisateur·ice en discutant avec un chatbot, N.D.L.R.] ».

En ce qui concerne les représentations extrêmement sexistes véhiculées par ces plateformes en plein essor, pas de panique. Elon Musk a la solution. Dans un post sur X, il a annoncé la sortie prochaine de Valentin sur Grok, version masculine de Ani. Ce dernier sera « aventureux », « charismatique » et « férocement protecteur ». Les clichés ont la peau dure.