Amnesty International alerte sur les dangers de l’intelligence artificielle

« Les systèmes d’IA sont présents dans tous les aspects de notre vie quotidienne. Dans l’espace public, il devient quasiment impossible d’échapper à cette surveillance. » Le constat de Kathia Roux, chargée de plaidoyer « Technologie et droits humains » pour Amnesty International, est accablant. Dans son rapport annuel sur les droits humains, l’ONG alerte sur le développement massif de l’usage de systèmes d’intelligence artificielle dans le monde. « Les intelligences artificielles sont présentées comme des solutions efficaces de sécurité et de lutte contre les discriminations. Mais plutôt que de régler ces problèmes, elles viennent amplifier le racisme et les discriminations, et perpétue des atteintes aux droits fondamentaux », précise Kathia Roux.

« Ces systèmes visent à cibler, à suivre et à analyser le comportement d’une personne, voire à lui prêter des intentions. Ils vont déterminer ce qu’une personne va voir, lire et expérimenter en ligne », explique la chargée de plaidoyer. Système de surveillance high-tech, algorithmes qui alimentent les discriminations, nouvelles techniques de profilage et logiciels espions : depuis deux ans, la liste des atteintes aux droits humains par la technologie et l’intelligence artificielle s’est allongée de manière inquiétante.

Un recours de plus en plus fréquent

La reconnaissance faciale voit son utilisation par les États se développer massivement dans de nombreux domaines, comme le cas du maintien de l’ordre. « De nombreux États se tournent vers ce genre de technologie pour identifier les personnes dans l’espace public, pour maintenir l’ordre et garantir la sécurité. Ça a été le cas au Brésil, en Argentine, au Royaume-Uni ou encore en Inde », indique Kathia Roux. En 2022, c’est la police de New-York qui révélait utiliser la reconnaissance faciale lors des manifestations des Black Lives Matter.

Les outils de reconnaissance faciale sont également utilisés dans les territoires palestiniens occupés. Amnesty International avait documenté en 2023 l’utilisation généralisée des systèmes de reconnaissance faciale par les autorités israéliennes contre les populations palestiniennes. « L’usage de ces technologies vient amplifier les discriminations existantes, renforcer les restrictions aux droits de circuler librement des Palestinien.nes, et donc, in fine, renforcer ce système que nous qualifions d’apartheid », glisse-t-elle.

Ces technologies permettent donc de contrôler des pans entiers de population au sein de territoires. Pire, elles sont aussi utilisées aux frontières par les États, renforçant les mécanismes de discriminations et de racisme. L’exemple de iBorder control est particulièrement frappant pour illustrer cette tendance : ce système automatisé repose sur une technologie d’IA détecteur de mensonges. Financée par l’Union européenne, cette technologie a été testée en Hongrie, en Grèce et en Lettonie.

Au moment de l’interrogatoire des personnes qui cherchent à franchir la frontière, le système analyse la moindre expression faciale, en se basant sur les systèmes de reconnaissance des émotions. Si le système estime que les personnes interrogées ont répondu honnêtement, elles reçoivent un code pour passer la frontière. Dans le cas contraire, elles sont redirigées vers des agents humains pour poursuivre l’interrogatoire. « Cela montre la puissance accordée à ces systèmes, où les États se sont appuyés sur des systèmes qui viennent amplifier les discriminations existantes », alerte Kathia Roux.

Discriminations et désinformation

En parallèle à cette surveillance de masse, de nombreux États ont continué d’utiliser des logiciels espions en toute illégalité : journalistes, membres de la société civile et avocats ont été ciblés par Pegasus partout dans le monde. Conçu en Europe, le logiciel Predator a été vendu en toute illégalité à plusieurs États, au mépris des règles commerciales européennes d’exportation. « On est très loin du nécessaire contrôle du commerce mondial des logiciels espions », s’inquiète Kathia Roux.

Les géants du numérique comme Meta, Google, X (ex-Twitter) ou encore TikTok sont aussi pointés du doigt dans le rapport de l’ONG. Selon Amnesty International, certains algorithmes faciliteraient la propagation de contenus haineux pour cibler certaines communautés. Les Tigréens en Éthiopie et les Rohingyas en Birmanie (Myanmar) ont été victimes d’une forte haine alimentée par les algorithmes de certains réseaux sociaux, selon l’organisation. D’autres minorités ont été touchées par une augmentation alarmante de la haine, comme la communauté LGBTI sur X.

L’UE a manqué une opportunité fantastique de réglementer certaines pratiques comme la reconnaissance faciale qui est incompatible avec les droits humains.

K. Roux

Concernant la recommandation de contenu, la plateforme Tik Tok amplifie les contenus sur la dépression et le suicide. Une pratique susceptible d’aggraver les problèmes de santé mentale existants. Amnesty International alerte aussi sur la désinformation entretenue sur les réseaux sociaux. Au-delà de l’explosion des deepfakes, l’utilisation de données personnelles par les gouvernements risque d’influencer des élections.

« Des données recueillies sur les réseaux sociaux peuvent être instrumentalisées pour créer une division entre différents groupes, dans le but de servir des objectifs politiques et électoraux. C’est une grande crainte dans le cadre des élections américaines, dans un contexte de montée de contenus discriminatoires à l’égard de certaines minorités, et de remise en cause du droit à l’avortement », s’inquiète Kathia Roux.

Rendez-vous manqué

Face à ce tableau inquiétant, les initiatives pour lutter contre ces dérives technologiques ne se bousculent pas. L’Union européenne a manqué l’occasion d’une réglementation ambitieuse dans le cadre de l’AI act, la première loi dans le monde qui vise à encadrer les systèmes d’IA. Un texte a bien été adopté, mais ce dernier ne va pas assez loin selon Amnesty International, qui craint même une légitimation des activités de surveillance menées par la police et les services de migration.

« L’UE a manqué une opportunité fantastique de réglementer certaines pratiques comme la reconnaissance faciale qui est incompatible avec les droits humains », glisse Kathia Roux. La France, l’Italie et l’Allemagne ont poussé pour intégrer une exception sur l’usage de cette technologie pour les enjeux de sécurité. « Très clairement, la France souhaite que sa police puisse utiliser ces systèmes-là », dénonce la chargée de plaidoyer.

Une avancée positive néanmoins : un jugement de la Cour de justice de l’Union européenne à l’encontre de Meta en juillet 2023. Le géant américain est reconnu coupable d’avoir violé les règles RGPT (réglementation générale sur la protection des données), en privant ses utilisateurs de la possibilité donner leur consentement libre et éclairé sur la collecte de leurs données personnelles. « Les lignes commencent à bouger, grâce à la documentation et à la mobilisation de la société civile », indique Kathia Roux, avant de rappeler l’urgence d’un véritable débat public sur la question.

En France, la reconnaissance faciale sera utilisée lors des Jeux olympiques. Une technologie qui pourrait bien être pérennisée après l’événement, comme en Russie, où ce système de surveillance avait été testé lors de la Coupe du monde de football en 2018.