L’algorithme de notation des CAF attaqué en justice

Mercredi 16 octobre, veille de la Journée mondiale du refus de la misère, quinze associations ont annoncé avoir saisi le Conseil d’État. Elles réclament l’arrêt de l’utilisation de l’algorithme de notation des allocataires par la Caisse nationale des allocations familiales (CNAF). Elles dénoncent un dispositif discriminatoire et une utilisation excessive des données personnelles par l’organisme public. L’algorithme attribue un score à chaque allocataire, afin de déterminer ceux étant considérés comme « à risque », et donc, plus à même de faire l’objet d’un contrôle. Plus le score est élevé, plus la probabilité de subir un contrôle est grande.

Une lutte disproportionnée contre la fraude sociale

Chaque mois, les Caisses d’allocations familiales (CAF) utilisent les données de plus de 32 millions de personnes pour nourrir l’algorithme, et ambitionnent de prédire les potentielles erreurs, ou les potentiels fraudeurs. Les contrôles des CAF peuvent s’accompagner d’un arrêt de versement des prestations et d’une demande de remboursement, même dans le cas d’erreurs. Les motifs de sanction sont souvent difficilement accessibles et les voies de recours peu compréhensibles. « Impossible de se défendre face à une accusation dont on ignore tout », critique Clément Terrasson, avocat spécialiste des litiges liés aux CAF à Grenoble.

Dans ses résultats 2022, la CNAF fait état de 351 millions d’euros de fraudes détectées, soit 0,35 % du total des prestations versées.

Cet indicateur est supposé permettre de détecter des sommes indûment versées, mais dans les faits, il associe précarité et suspicion de fraude. « Des erreurs non intentionnelles sont qualifiées de fraude », résume Didier Minot, président du collectif Changer de Cap, lors d’une conférence de presse. Pascale Ribes, présidente d’APF France Handicap, demande à ce que « toute l’énergie investie dans la recherche de fraudeurs, soit investie dans un meilleur accompagnement des allocataires », regrettant des démarches complexes et opaques, susceptibles d’augmenter les erreurs.

Les associations s’inquiètent d’une lutte disproportionnée contre la fraude sociale, en rappelant que cette dernière serait environ cinq fois plus faible que la fraude fiscale, estimée de 60 à 80 milliards d’euros selon le syndicat Solidaires Finances publiques. De plus, dans ses résultats 2022, la CNAF fait état de 351 millions d’euros de fraudes détectées, soit 0,35 % du total des prestations versées, qui représentent 99 milliards d’euros.

Des discriminations à tous les niveaux

Le score établi par l’algorithme de la CNAF est compris entre 0 et 1, augmente en fonction de certaines variables et augmente, avec lui, la probabilité de subir un contrôle de la part de l’organisme. La Quadrature du Net, une association luttant contre les dérives de surveillance dans le monde numérique, avait déjà réalisé une enquête fin 2023 sur le dispositif utilisé par la CNAF. Le collectif est parvenu à obtenir le code source utilisé pour l’algorithme, après des demandes répétées à la commission d’accès aux documents administratifs.

Néanmoins, ce sont des versions antérieures qui leur ont été transmises, celles utilisées entre 2010 et 2018, et partielles car plusieurs variables demeurent confidentielles. La CNAF explique vouloir garder le programme actuellement utilisé secret, car « en identifiant les critères constituant des facteurs de ciblage, des fraudeurs pourraient organiser et monter des dossiers frauduleux », rapporte l’enquête. De leur côté, les associations dénoncent un manque de transparence. Les codes sources obtenus permettent d’avoir une idée des procédés utilisés et des variables retenues.

Selon Bastien Le Querrec, juriste à la Quadrature du Net, « certaines variables sont directement discriminatoires ». Parmi les facteurs augmentant le score de suspicion, on retrouve notamment le fait d’avoir de faibles revenus, d’être bénéficiaire de l’allocation adulte handicapée trimestrielle, d’être allocataire du RSA, d’être au chômage, ou encore d’avoir divorcé dans les douze derniers mois. Autrement dit, l’âge, la situation économique, la situation familiale et la situation de handicap influeraient directement sur la probabilité de subir un contrôle d’une CAF.

Les familles monoparentales ont plus de chance d’avoir un score élevé avec cet algorithme, alors même qu’elles sont composées à 82 % de mères seules.

Le recours juridique déposé par les 15 associations parle également de discrimination indirecte. Un algorithme de notation comme celui de la CNAF utilise l’intelligence artificielle et est entraîné sur des quantités massives de données, reproduisant ainsi des stéréotypes et des biais déjà ancrés dans la société. En l’occurrence, les personnes dans les situations les plus précaires sont davantage susceptibles de se faire contrôler.

Par exemple, les familles monoparentales ont plus de chance d’avoir un score élevé avec cet algorithme de notation, alors même que celles-ci étaient composées à 82 % de mères seules avec un ou plusieurs enfants en 2020, selon l’Insee. Il est interdit à un algorithme de prendre en compte le sexe comme critère, mais l’utilisation d’autres variables corrélées, comme la situation familiale, conduit indirectement à des disparités entre hommes et femmes.

Le non-respect du RGPD

Un autre argument juridique avancé par les associations dans le recours devant le Conseil d’État, est la disproportion du traitement des données personnelles. En effet, selon le règlement général de protection des données (RGPD) en vigueur dans l’Union européenne, et la loi Informatique et Libertés qui l’adapte au droit français, tout traitement de données doit être proportionné à l’objectif poursuivi. Dans ce cas précis, le but affiché est d’identifier les dossiers dans lesquels il est probable de découvrir une somme indûment versée en cas de contrôle, avec tous les biais cités précédemment.

Les associations alertent aussi sur l’opacité du fonctionnement d’un tel algorithme de notation et sur la généralisation de ce genre d’outil au sein d’organismes publics, citant notamment l’algorithme d’employabilité de France Travail. À l’aune du développement de l’intelligence artificielle et de la dématérialisation, le collectif d’associations demande au Conseil d’État de transmettre l’affaire à la Cour de justice de l’Union européenne, afin d’obtenir une décision applicable à l’ensemble de ses membres.