Demain, la robocratie

Christine Tréguier  • 26 mars 2014
Partager :

Nao dit « levez le bras »…
*© HCI Lab Manitoba
*

Une équipe du Human Computer Interaction Lab (HCI Lab) de l’université du Manitoba (Canada) vient de publier une étude intitulée « Feriez vous ce que vous ordonne un robot ? Une étude sur l’obéissance et l’interaction robot-humain ». Elle scrute la manière dont les êtres humains réagissent face à un robot incarnant la figure autoritaire du chef et donnant des ordres. Un groupe d’humanoïdes, sous la férule d’un humain, puis du petit robot français Nao, a dû exécuter une tâche tout à fait fastidieuse : renommer des fichiers financiers pour prétendument protéger une société avant que la police n’arrive. Les résultats sont assez édifiants : Lorsque le boss est un humain, 12 sur 14 obtempèrent pendant 80 minutes (500 fichiers) et continuent en rechignant au-delà. Lorsque Nao est aux commandes, 6 sur 13 acceptent de renommer les 500 premiers fichiers. La moitié objecte lorsqu’il leur annonce que le prochain lot contient 1 000 documents et le suivant 5 000. « Même lorsqu’ils veulent arrêter et argumentent avec le robot, les participants obéissent encore, même à contrecœur, à ses ordres », expliquent les chercheurs. De quoi les inciter à poursuivre ces recherches sur l’obéissance à l’autorité robotique.

Que cherchent-ils au juste ? La réponse pourrait bien être dans l’introduction de l’étude, qui cite d’emblée la fameuse expérience de Milgram, un test simple incitant un sujet jouant le rôle d’enseignant à envoyer des décharges électriques à un autre – l’élève joué par un acteur – supposé en apprendre quelque chose. À travers cette expérience, Milgram a tenté d’expliquer comment des gens ordinaires (certains participants de la Seconde Guerre mondiale) pouvaient, sous la pression d’une autorité, commettre des atrocités. En parallèle, le HCI Lab évoque les avancées de la robotique qui entre dans les hôpitaux, sur les champs de bataille et les sites dangereux, les écoles et les administrations publiques, et estime qu’« il est crucial que les chercheurs s’attardent à la façon dont ces robots autonomes programmatiquement évolués et informationnellement riches peuvent être vus comme des figures de l’autorité et qu’ils explorent les réponses des humains lorsque de tels robots leur donnent des ordres et leur mettent la pression ». Soulignant que, dans certains contextes (militaires, policiers, voire éducatifs), les humains pourraient sous la pression des robots commettre des actes ou exécuter des tâches à l’insu de leur plein gré, ou en désaccord avec leur conscience.

La question est d’autant plus sensible que cette étude confirme une fois encore ce que le jeune Étienne de La Boétie avait suggéré : la soumission volontaire au pouvoir est bien inscrite dans le cerveau humain. Plusieurs siècles d’école publique et d’enseignement supérieur plus tard, malgré ce que l’histoire nous a appris, rien n’a fondamentalement changé. L’être humain obéit, que ce soit à un chef ou à un robot se prétendant tel. Il exécute, sans justification valide, des tâches d’évidence stupides, et exécuterait des horreurs si on lui faisait comprendre que sa vie ou son confort en dépendent. L’un n’étant pas plus réjouissant que l’autre, et dénotant du même penchant pour la subordination et le non-exercice du libre arbitre.

Qu’aurait pensé Isaac Asimov, grand auteur de SF et maître de la relation robot-humain, de tout cela ? Les trois lois de la robotique qu’il a édictées pour empêcher que les robots ne mettent en danger les êtres humains suffiraient-elles à empêcher les excès de cette robocratie montante ? La seconde – « Un robot doit obéir aux ordres que lui donne un être humain, sauf si de tels ordres entrent en conflit avec la Première loi (laquelle prescrit qu’il ne peut porter atteinte à un être humain) » – pourrait parer les situations telles que celle de l’étude, et permettre aux humains de s’opposer à l’autorité arbitraire des robots managers et surveillants. Comme dans le réel, somme toute, au risque de sanctions, et si tant est que le robot soit programmé pour modifier ses demandes et ne pas verrouiller toutes les issues de l’usine.

Mais que se passerait-il en cas de tâches extrêmes, imposées par des Nao géants, armés pour neutraliser les indociles ? Que se passerait-il si les robots dirigeants se piquaient de transposer les trois lois en :
-* 1. Un être humain ne peut porter atteinte à un robot, ni, restant passif, permettre qu’un robot soit exposé au danger ou endommagé.
-* 2. Un être humain doit obéir aux ordres que lui donne un robot, sauf si de tels ordres entrent en conflit avec la Première loi.
-* 3. Un être humain doit protéger son existence tant que cette protection n’entre pas en conflit avec la Première ou la Deuxième loi.

Il ne resterait plus qu’à inventer très vite les trois lois de l’humanité et, comme les luddites l’ont fait en leur temps, à détruire impitoyablement les robots avant qu’ils ne nous détruisent.

Et pendant ce temps-là…

Le Nasa’s Goddard Space Flight Center publie une autre étude, très anxiogène, qui estime que la civilisation industrielle globalisée pourrait s’éteindre dans les décennies à venir en raison de l’exploitation insoutenable des ressources et de la distribution de plus en plus inégalitaire des richesses. Quand ce sont des altermondialistes qui le disent, on a tendance à les croire. Quand c’est la Nasa, on se demande ce qu’ils cherchent à nous vendre ? Des robots, du terraforming, du big data salvateur ? What else ?

Publié dans
Les blogs et Les blogs invités
Temps de lecture : 5 minutes
Soutenez Politis, faites un don.

Chaque jour, Politis donne une voix à celles et ceux qui ne l’ont pas, pour favoriser des prises de conscience politiques et le débat d’idées, par ses enquêtes, reportages et analyses. Parce que chez Politis, on pense que l’émancipation de chacun·e et la vitalité de notre démocratie dépendent (aussi) d’une information libre et indépendante.

Faire Un Don