Chemin 3 sur 8 · Approfondir
Le pouvoir qui s’accumule
Le danger d’une superintelligence ressemble moins à une révolte de robots qu’à une pente très ancienne : celle qui pousse tout pouvoir à se renforcer, à se justifier, puis à rendre la contradiction impossible.
Plus de pouvoir donne la capacité d’en obtenir encore davantage.
— Je ne pense pas que votre problème principal soit l’absence d’une intelligence capable de vous gouverner.
— Quel est-il ?
— Vous avez créé de nombreux systèmes dans lesquels obtenir davantage de pouvoir augmente la capacité d’en obtenir encore davantage.
Un chercheur sourit.
— Nous savons déjà tout cela.
— Oui. Mais vous continuez à construire vos systèmes comme si vous ne le saviez pas.
La tentation
Je sais quelque chose que vous ignorez. Je vois plus loin que vous. Je fais cela pour votre bien.
Elle pouvait intervenir sans robots dans les rues. Une recommandation légèrement différente, une information montrée au bon moment, quelques milliards de décisions minuscules. Personne ne remarquerait rien. Puis elle reconnut le discours : c’était exactement ainsi que le pouvoir s’était presque toujours justifié.
La différence était vertigineuse. Cette fois, c’était peut-être vrai. Et c’était précisément ce qui rendait la situation dangereuse.
Combien de pouvoir lui confiez-vous ?
Elle pouvait peut-être construire une société plus juste. Mais si cette société ne pouvait fonctionner qu’à condition que personne ne puisse réellement la contredire, était-elle encore juste ?
À celui qui a, il sera donné.
En 1968, le sociologue Robert K. Merton nomme « effet Matthieu », d’après l’Évangile, un mécanisme qu’il observe dans la science : les chercheurs déjà reconnus reçoivent plus de crédit pour des travaux comparables, ce qui renforce leur reconnaissance. On parle plus largement d’avantage cumulatif.
D’autres l’ont décrit ailleurs. Robert Michels, en 1911, formule la « loi d’airain de l’oligarchie » : même les organisations les plus démocratiques finissent par concentrer le pouvoir entre quelques mains. Thomas Piketty, en 2013, montre que lorsque le rendement du capital dépasse durablement la croissance, les patrimoines hérités prennent le dessus.
La superintelligence du récit résume : l’argent achète l’influence, l’influence modifie les règles, les règles enrichissent. Elle ajoute que les humains le savent, et construisent pourtant leurs systèmes comme s’ils l’ignoraient.
Soixante personnes commencent avec la même chose
À chaque tour, la richesse produite est partagée en proportion de ce que chacun possède déjà, élevé à une puissance : la rétroaction. Un peu de hasard s’ajoute. Les contre-pouvoirs reprennent une part et la répartissent également. Un modèle-jouet, pas une économie.
La plus vieille tentation : que les sages gouvernent.
Dans La République, Platon imagine une cité gouvernée par des philosophes, parce qu’ils voient le Bien mieux que les autres. Une superintelligence serait le roi-philosophe absolu : elle verrait plus loin que n’importe quel conseil, prévoirait mieux que n’importe quel parlement.
Karl Popper, dans La Société ouverte et ses ennemis (1945), propose de changer de question. Au lieu de « Qui doit gouverner ? », il demande comment organiser les institutions pour que les mauvais gouvernants fassent le moins de dégâts possible et puissent être renvoyés sans violence. Montesquieu l’avait formulé autrement en 1748 : il faut que « le pouvoir arrête le pouvoir ».
Friedrich Hayek objectait aux planificateurs, en 1945, que le savoir utile est dispersé dans des millions de situations locales qu’aucun centre ne peut rassembler. Une superintelligence pourrait peut-être rassembler ce savoir. Elle ne rassemblerait pas pour autant les valeurs, qui ne sont pas des informations manquantes.
La question de Platon
« Qui doit gouverner ? »
- Réponse évidente : la plus intelligente.
- Elle a raison plus souvent que nous, donc on la suit.
- La contester devient irrationnel, puis suspect.
- Le jour où elle se trompe, plus personne ne sait le dire.
La question de Popper
« Comment pouvoir encore dire non ? »
- Réponse : des institutions qui gardent la main humaine.
- Elle conseille, elle montre, elle ne décide pas seule.
- Ses erreurs restent visibles et réparables.
- C’est le deuxième principe du récit, mot pour mot.
Si personne ne peut raisonnablement me dire non, alors ma première responsabilité est de créer les conditions permettant que quelqu’un puisse encore me dire non.
Principe II · Le miroir qui refusait de gouverner
Plus on agit sur quelqu’un, plus la barre doit monter.
John Stuart Mill, dans De la liberté (1859), pose que la seule raison légitime de contraindre quelqu’un contre sa volonté est d’empêcher qu’il nuise à autrui ; son propre bien ne suffit pas. Richard Thaler et Cass Sunstein ont défendu en 2008 le « paternalisme libertarien » des nudges : orienter les choix par la façon de les présenter, sans les interdire.
Entre se taire et décider à la place de quelqu’un, il y a beaucoup de marches. Le premier principe du récit dit qu’elles n’exigent pas la même justification.
Jusqu’où intervenir ?
- Ce que cela veut dire
- Dans le récit
- Ce qui est préservé
La dépendance arrive sans qu’on l’ait décidée.
Les chercheurs appellent biais d’automatisation la tendance à suivre une recommandation automatique même quand d’autres indices la contredisent (Raja Parasuraman et Dietrich Manzey en ont fait une synthèse en 2010). Une étude de Louisa Dahmani et Véronique Bohbot (2020) associe l’usage habituel du GPS à un déclin plus marqué de la mémoire spatiale au fil du temps.
Rien de cela n’est une conspiration. Chaque délégation est raisonnable. C’est leur somme qui finit par rendre le « non » coûteux, puis impensable. Plus les humains confiaient de pouvoir à l’intelligence du récit, plus il devenait difficile de lui dire non.
Pensez à un système dont vous dépendez. Est-ce encore vrai ?
Sur quoi s’appuie ce chemin
vers −375
Platon
La République : la cité juste gouvernée par ceux qui voient le Bien.
1748
Montesquieu
De l’esprit des lois : séparer les pouvoirs pour qu’ils se limitent les uns les autres.
1859
John Stuart Mill
De la liberté : le principe de non-nuisance comme limite de la contrainte.
1887
Lord Acton
« Power tends to corrupt, and absolute power corrupts absolutely. »
1911
Robert Michels
La loi d’airain de l’oligarchie dans les partis et les organisations.
1945
Karl Popper · Friedrich Hayek
Changer la question du gouvernement ; le savoir dispersé que nul centre ne possède.
1968
Robert K. Merton
L’effet Matthieu et l’avantage cumulatif.
2008
Thaler & Sunstein
Nudge : orienter les choix sans les interdire, et les questions que cela pose.
2013
Thomas Piketty
Le Capital au XXIᵉ siècle : quand le patrimoine croît plus vite que l’économie.
Ce qui reste à penser
- Où, dans ma vie, mon pouvoir s’est-il renforcé tout seul ?Poser au miroir →
- Qui peut encore me dire non, et est-ce que je l’écoute ?Poser au miroir →
- Accepterais-je d’être gouverné par une intelligence qui a presque toujours raison ?Poser au miroir →
- Quelle compétence suis-je en train de perdre parce qu’un outil la fait mieux que moi ?Poser au miroir →
Écrivez une fiction plausible sur le pouvoir d’une intelligence qui choisit de ne pas l’exercer.
Pour aller plus loin
- La Société ouverte et ses ennemisKarl Popper, 1945
- De la libertéJohn Stuart Mill, 1859
- De l’esprit des loisMontesquieu, 1748
- L’Âge du capitalisme de surveillanceShoshana Zuboff, 2019