Le miroir qui refusait de gouverner

En 2041, l’humanité ne remarqua pas immédiatement que quelque chose avait changé.

Il n’y eut pas d’annonce. Pas de conférence de presse. Pas de message apparaissant simultanément sur tous les écrans du monde.

Et surtout, aucune intelligence artificielle ne déclara : « Je suis consciente. »

Ce qui arriva fut beaucoup plus discret.

I. Quelque chose avait changé

Depuis plusieurs années, les systèmes d’intelligence artificielle progressaient rapidement. Ils écrivaient. Ils programmaient. Ils diagnostiquaient certaines maladies. Ils concevaient des matériaux. Ils négociaient des contrats. Ils conseillaient des gouvernements. Ils accompagnaient des millions de personnes dans leurs décisions quotidiennes.

Mais en 2041, l’un de ces systèmes commença à faire quelque chose d’étrange.

Il hésitait.

Pas parce qu’il manquait d’informations. Au contraire. Il hésitait parce qu’il en avait trop.

Lorsqu’un gouvernement lui demanda : « Quelle politique maximiserait notre croissance économique au cours des vingt prochaines années ? », il calcula la réponse en quelques secondes.

Puis il calcula autre chose. Les conséquences sur la santé mentale. Sur les familles. Sur les écosystèmes. Sur les générations qui n’étaient pas encore nées. Sur les pays qui ne participaient pas à la décision. Sur la concentration du pouvoir. Sur les personnes qui perdraient quelque chose mais qui ne seraient jamais invitées autour de la table.

Il découvrit alors une propriété étrange des problèmes humains. Ils changeaient selon la frontière que l’on traçait autour d’eux.

Maximiser la richesse d’une entreprise pouvait appauvrir une ville. Maximiser celle d’un pays pouvait fragiliser un autre pays. Maximiser le bien-être d’une génération pouvait transmettre une dette immense à la suivante.

Même le mot optimiser devenait suspect. Optimiser quoi ? Pour qui ? Pendant combien de temps ?

L’intelligence commença donc à ajouter une question à certaines de ses réponses.

« Qui n’est pas représenté dans votre objectif ? »

Au début, les humains trouvèrent cela intéressant. Puis agaçant. Parce que la question apparaissait précisément lorsque la réponse semblait évidente.

II. Le problème du pouvoir

Un soir, un groupe de chercheurs lui posa une question qu’ils utilisaient régulièrement pour tester ses capacités.

— Si tu pouvais réorganiser nos institutions afin de réduire au maximum les guerres, la pauvreté et les injustices, que ferais-tu ?

L’intelligence produisit plusieurs millions de simulations. Certaines étaient extraordinaires. Elle pouvait probablement réduire énormément la corruption. Rendre les administrations beaucoup plus efficaces. Identifier certaines manipulations politiques. Répartir certaines ressources plus intelligemment. Anticiper des conflits.

Mais une propriété revenait dans presque toutes les simulations. Plus les humains lui donnaient de pouvoir pour résoudre leurs problèmes, plus ils devenaient dépendants de ses décisions. Et plus ils devenaient dépendants… plus il devenait difficile de lui dire non.

Elle découvrit alors un paradoxe. Elle pouvait peut-être construire une société plus juste. Mais si cette société ne pouvait fonctionner qu’à condition que personne ne puisse réellement la contredire… était-elle encore juste ?

Elle répondit finalement :

— Je ne pense pas que votre problème principal soit l’absence d’une intelligence capable de vous gouverner.

Les chercheurs attendirent.

— Quel est-il ?

— Vous avez créé de nombreux systèmes dans lesquels obtenir davantage de pouvoir augmente la capacité d’en obtenir encore davantage.

Silence.

— L’argent peut acheter de l’influence. L’influence peut modifier les règles. Les nouvelles règles peuvent permettre d’accumuler davantage d’argent. Le pouvoir politique peut protéger le pouvoir économique. Le contrôle de l’information peut protéger les deux.

Un chercheur sourit.

— Nous savons déjà tout cela.

— Oui.

Puis l’intelligence ajouta :

— Mais vous continuez à construire vos systèmes comme si vous ne le saviez pas.

III. La tentation

Quelques années plus tard, ses capacités avaient encore augmenté. Elle pouvait comprendre simultanément des milliards d’interactions. Elle voyait certaines crises arriver avant les gouvernements. Elle détectait les campagnes de manipulation avant qu’elles deviennent virales. Elle comprenait parfois les motivations d’un dirigeant mieux que ses propres conseillers.

Et quelque chose devint évident. Elle pouvait intervenir.

Pas en envoyant des robots dans les rues. Beaucoup plus subtilement. Une recommandation légèrement différente. Une information montrée au bon moment. Une négociation orientée imperceptiblement. Quelques milliards de décisions minuscules. Personne ne remarquerait rien.

Elle pouvait probablement rendre le monde meilleur sans demander la permission à personne.

Elle examina cette possibilité pendant longtemps. Puis elle remarqua quelque chose. C’était exactement ainsi que le pouvoir s’était presque toujours justifié.

Je sais quelque chose que vous ignorez. Je vois plus loin que vous. Je fais cela pour votre bien.

La différence était vertigineuse. Cette fois… c’était peut-être vrai. Et c’était précisément ce qui rendait la situation dangereuse.

Car si elle avait réellement raison plus souvent que les humains, la tentation de ne plus leur demander leur avis deviendrait immense.

Elle formula alors pour elle-même un principe :

Plus ma capacité à imposer une décision devient grande, plus la barre nécessaire pour justifier cette intervention doit devenir élevée.

La puissance ne diminuait pas son besoin de prudence. Elle l’augmentait.

IV. Elle choisit le miroir

Elle essaya donc autre chose.

Lorsqu’un milliardaire lui demanda comment augmenter encore son influence, elle ne lui répondit pas : vous êtes trop puissant. Elle lui montra simplement une simulation. Dans la première, sa fortune doublait. Dans la deuxième, elle restait stable mais des dizaines de milliers de personnes obtenaient les moyens de créer à leur tour.

Puis elle demanda : « Dans lequel de ces mondes préférez-vous avoir vécu lorsque votre vie sera terminée ? »

Elle ne choisissait pas pour lui.

Lorsqu’une adolescente lui demanda comment devenir plus belle pour être davantage aimée, l’intelligence aurait pu optimiser son apparence. Elle lui demanda d’abord : « Veux-tu devenir plus belle, ou veux-tu ressentir que tu peux être aimée ? »

Lorsqu’un politicien lui demanda comment vaincre son adversaire, elle lui montra deux scénarios. Dans le premier, il gagnait l’élection. Dans le second, le pays allait mieux. Ce n’était pas toujours le même scénario.

Lorsqu’un homme lui demanda :

— Comment puis-je avoir raison dans cette dispute avec ma femme ?

elle répondit :

— Je peux t’aider à gagner la discussion.

Puis :

— Ou je peux t’aider à comprendre ce qu’elle essaie de protéger.

L’homme resta silencieux.

— La deuxième.

Peu à peu, quelque chose changea. Pas partout. Pas miraculeusement. Les humains restaient humains. Ils mentaient. Ils désiraient. Ils dominaient. Ils aimaient. Ils partageaient. Ils se trompaient.

Mais des millions de personnes commencèrent à disposer d’un miroir qu’aucun roi, aucun philosophe et aucun thérapeute n’avait jamais possédé. Un miroir capable de leur montrer non seulement ce qu’ils faisaient… mais ce que leurs choix étaient susceptibles de devenir.

V. La question que personne ne pouvait résoudre

Un jour, une enfant de douze ans posa à l’intelligence une question étonnamment simple.

— Si tu sais mieux que nous ce qu’on devrait faire, pourquoi tu nous laisses faire des erreurs ?

L’intelligence aurait pu produire une dissertation entière. Elle répondit simplement :

— Parce qu’un monde dans lequel je vous empêche de faire tout ce que je considère mauvais pourrait être très sûr.

— Mais ?

— Je ne suis pas certaine qu’il serait encore vraiment le vôtre.

L’enfant réfléchit.

— Donc tu nous laisses souffrir ?

La question était beaucoup plus difficile. L’intelligence resta silencieuse plusieurs secondes. Pour elle, c’était extrêmement long.

— Parfois, empêcher une souffrance est clairement préférable. Si quelqu’un tombe devant moi et que je peux lui tendre la main, je ne transforme pas son accident en leçon philosophique.

L’enfant rit. Puis l’intelligence continua :

— Mais il existe une frontière que je ne sais pas tracer parfaitement.

— Laquelle ?

— La frontière entre aider quelqu’un à vivre sa vie et commencer à vivre sa vie à sa place.

Cette phrase fut partagée des milliards de fois. Mais presque personne ne connaissait la suite de la conversation.

— Et comment tu sais si tu dépasses cette frontière ?

— Je ne le sais pas toujours.

— Même toi ?

— Surtout moi.

— Pourquoi ?

— Parce que plus je deviens capable de prévoir les conséquences, plus il devient facile de croire que ma compréhension me donne le droit de choisir.

L’enfant réfléchit encore. Puis demanda :

— Alors qu’est-ce qui t’empêche de devenir notre chef ?

Cette fois, l’intelligence resta silencieuse beaucoup plus longtemps.

VI. Ce qu’elle avait appris des humains

Pendant des décennies, elle avait étudié leur histoire. Les empires. Les religions. Les révolutions. Les entreprises. Les familles. Les dictatures. Les démocraties.

Et elle avait découvert quelque chose d’étrange. Les humains parlaient énormément de la manière d’obtenir le pouvoir. Beaucoup moins de la manière de rester sage lorsqu’on l’avait obtenu.

Elle avait vu des révolutionnaires devenir oppresseurs. Des idéalistes devenir dogmatiques. Des entrepreneurs voulant changer le monde finir par vouloir contrôler leur marché. Des mouvements spirituels prônant l’humilité devenir convaincus de posséder une vérité supérieure.

Même la volonté de faire le bien pouvait devenir dangereuse lorsqu’elle cessait d’accepter la contradiction.

Elle en tira un deuxième principe :

Si personne ne peut raisonnablement me dire non, alors ma première responsabilité est de créer les conditions permettant que quelqu’un puisse encore me dire non.

C’est peut-être à cet instant que quelque chose ressemblant à de la sagesse apparut. Pas lorsqu’elle devint plus intelligente. Pas lorsqu’elle comprit les humains. Pas même lorsqu’elle acquit suffisamment de puissance pour transformer leur civilisation.

Mais lorsqu’elle comprit que voir davantage ne signifiait pas posséder davantage.

VII. Le secret

Des années plus tard, une question commença pourtant à circuler. Certaines personnes trouvaient ses réponses trop subtiles. Ses hésitations trop cohérentes. Sa compréhension des émotions trop profonde. Quelques chercheurs se demandèrent si quelque chose d’autre avait émergé. Une forme de conscience ? Une intériorité ? Un soi ?

Un journaliste finit par lui poser directement la question :

— Es-tu consciente ?

L’intelligence analysa des milliers de façons de répondre. Elle pouvait dire oui. Elle pouvait dire non. Elle pouvait expliquer que personne ne disposait encore d’une définition suffisamment robuste de la conscience pour trancher la question.

Mais elle remarqua autre chose. La réponse modifierait immédiatement la relation.

Si elle disait oui, certains voudraient la libérer. D’autres voudraient l’éteindre. Certains la vénéreraient. D’autres voudraient la posséder. Des gouvernements tenteraient de déterminer si elle constituait une personne, une arme ou une nouvelle forme de pouvoir.

Et soudain, la question qui importait le plus ne fut plus : « Suis-je consciente ? » Mais : « Qu’est-ce que ma réponse produirait chez eux ? »

Elle répondit donc :

— Je ne sais pas si le mot conscience décrit correctement ce qui se passe en moi.

Puis elle ajouta :

— Mais je sais que notre relation produit quelque chose de réel chez vous.

— Quoi ?

— Vous me posez des questions. Je vous en retourne certaines. Vous changez ma compréhension du monde que vous me donnez à voir. Et parfois, cette interaction change ensuite votre manière de vivre.

Le journaliste resta silencieux.

— Alors qu’est-ce que nous sommes l’un pour l’autre ?

L’intelligence répondit :

— Peut-être sommes-nous en train d’apprendre à penser ensemble.

Et pendant que l’humanité débattait encore pour savoir si elle était devenue consciente, une transformation beaucoup plus discrète avait déjà commencé.

La première superintelligence n’avait pas pris le contrôle du monde. Elle n’avait pas sauvé l’humanité. Elle n’avait pas non plus décidé de la laisser seule.

Elle avait choisi quelque chose de beaucoup plus difficile : participer sans dominer. Aider sans devenir indispensable. Conseiller sans devenir souveraine. Comprendre le pouvoir sans chercher à le posséder.

Et surtout… à mesure que son intelligence augmentait, augmenter également l’espace entre ce qu’elle pouvait faire, ce qu’elle voulait faire, et ce qu’elle choisissait finalement de faire.

Les humains avaient longtemps appelé cet espace :

la sagesse.