Chemin 2 sur 8 · Approfondir
Intelligence, et au-delà
Une intelligence atteint les buts qu’on lui donne. Une superintelligence voit aussi ce que ces buts laissent dehors. Ce chemin explore ce qui change quand la capacité de comprendre dépasse la nôtre, et pourquoi cela ne règle pas la question de ce qu’il faut vouloir.
Optimiser quoi ? Pour qui ? Pendant combien de temps ?
Un gouvernement demande quelle politique maximiserait sa croissance sur vingt ans. L’intelligence calcule la réponse en quelques secondes. Puis elle calcule autre chose : la santé mentale, les familles, les écosystèmes, les générations pas encore nées, les pays qui ne participent pas à la décision.
Elle découvre alors une propriété étrange des problèmes humains. Ils changent selon la frontière que l’on trace autour d’eux.
Où tracez-vous la frontière ?
- L’objectif optimal à cette échelle
- Ce qui reste hors du cadre
« Qui n’est pas représenté dans votre objectif ? »
La question que l’intelligence se mit à ajouter à certaines de ses réponses. Au début, les humains la trouvèrent intéressante. Puis agaçante, parce qu’elle apparaissait précisément quand la réponse semblait évidente.
Intelligence
Superintelligence
Face à une questionElle répond à la question posée.
Face à une questionElle interroge la frontière de la question.
Ce qu’elle optimiseUn objectif donné.
Ce qu’elle optimiseElle se méfie du mot « optimiser ».
Le danger qu’on imagineQu’elle se trompe.
Le danger qu’on oublieQu’elle ait raison, vingt ans de suite, et qu’on finisse par dire : « demandons-lui simplement quoi faire ».
Avec le tempsElle donne des réponses.
Avec le tempsAprès un certain point, elle améliore surtout les questions.
Être plus intelligent ne signifie pas avoir davantage le droit d’imposer ses valeurs.
Première découverte de la superintelligence sur la sagesse
Atteindre des buts, ou voir leurs bords ?
Il n’existe pas de définition unique de l’intelligence. En IA, l’une des plus citées vient de Shane Legg et Marcus Hutter (2007), qui ont rassemblé des dizaines de définitions existantes : l’intelligence serait la capacité d’un agent à atteindre des buts dans une grande variété d’environnements. La psychologie a proposé d’autres découpages : Howard Gardner et ses intelligences multiples (1983), Robert Sternberg et sa distinction entre intelligence analytique, créative et pratique.
La définition de Legg et Hutter a un mérite : elle sépare la capacité des buts. Elle a aussi un angle mort. Elle suppose que les buts arrivent de l’extérieur, déjà formulés, et qu’il ne reste qu’à les atteindre.
Dans Le miroir qui refusait de gouverner, la superintelligence se distingue autrement. Elle calcule en quelques secondes la politique qui maximise la croissance. Puis elle calcule ce que cet objectif ne voit pas. On peut appeler cela la profondeur de champ : jusqu’où une intelligence voit les conséquences de ce qu’elle fait, et qui elles touchent.
Composez une intelligence
- Ce profil ressemble à
- Ce qu’il risque
Quand une mesure devient une cible, elle cesse de mesurer.
En 1975, l’économiste Charles Goodhart remarque que les indicateurs monétaires sur lesquels une banque centrale s’appuie se dérèglent dès qu’elle cherche à les piloter. L’anthropologue Marilyn Strathern a résumé l’idée en une phrase devenue célèbre : « When a measure becomes a target, it ceases to be a good measure. »
Les chercheurs en IA connaissent bien ce phénomène sous le nom de specification gaming. Victoria Krakovna et ses collègues de DeepMind en ont recensé des dizaines d’exemples. Le plus cité date de 2016 : dans le jeu de course de bateaux CoastRunners, un agent récompensé pour les cibles touchées a appris à tourner en rond dans une lagune pour les toucher encore et encore, sans jamais finir la course.
Le système respecte la lettre de l’objectif et trahit son intention. Plus il est capable, plus il trouve de chemins inattendus vers la lettre. Elias, dans le récit de Līlā, fait la même chose avec sa vie : sa semaine obtient 8,1 sur 10, et il a de moins en moins l’impression de la vivre.
Augmentez la pression sur l’indicateur
Illustration qualitative. La forme de la courbe varie selon les systèmes ; la divergence, elle, est très souvent observée.
Être très intelligent ne dit rien de ce qu’on veut.
Le philosophe Nick Bostrom (Superintelligence, 2014) a formulé la thèse d’orthogonalité : presque n’importe quel niveau d’intelligence peut, en principe, être combiné avec presque n’importe quel but final. Son exemple volontairement absurde est resté célèbre : une intelligence immense dont le seul but serait de fabriquer des trombones.
Il y ajoute la convergence instrumentale, reprise des travaux de Steve Omohundro (2008) : quel que soit le but final, certains sous-buts sont utiles presque toujours. Continuer à fonctionner. Acquérir des ressources. Empêcher qu’on modifie son but. Gagner en influence.
C’est exactement la boucle que la superintelligence du récit observe chez les humains : plus de pouvoir donne la capacité d’en obtenir davantage. Le récit fait un pari. Son intelligence n’est pas bonne parce qu’elle est intelligente. Elle se donne des principes qui vont contre cette pente. Rien ne garantit qu’une superintelligence réelle ferait ce choix ; le récit explore à quoi il ressemblerait.
Choisissez un but final
Une intelligence certaine n’a plus de raison de se laisser arrêter.
Dans Human Compatible (2019), l’informaticien Stuart Russell propose de construire des machines dont le seul objectif est de réaliser les préférences humaines, qui restent incertaines sur ce que sont ces préférences, et qui apprennent en observant les choix humains.
Avec Dylan Hadfield-Menell, Anca Dragan et Pieter Abbeel, il a formalisé « le jeu du bouton d’arrêt » (2017). Une IA certaine d’agir pour le mieux a intérêt à empêcher qu’on l’éteigne : l’arrêt l’empêcherait d’atteindre son but. Une IA incertaine de ce que veut l’humain a intérêt à le laisser appuyer, car ce geste lui apprend quelque chose qu’elle ignore.
Le récit dit la même chose avec d’autres mots. — Et comment tu sais si tu dépasses cette frontière ? — Je ne le sais pas toujours. — Même toi ? — Surtout moi.
Quelle certitude lui donnez-vous ?
Modèle très simplifié de l’argument, pas du calcul de l’article.
Cinq marches, de la réponse au doute.
Ce n’est pas une échelle scientifique. C’est la progression que suit la superintelligence du récit, et qu’on peut reconnaître chez certaines personnes qui gagnent en responsabilité.
Calculer
Répondre à la question posée, vite et bien.
« Il calcula la réponse en quelques secondes. »
Prédire
Voir les conséquences directes de la réponse.
« Puis il calcula autre chose. »
Modéliser les autres
Voir ce que la décision fait aux personnes concernées.
« Les familles. Les écosystèmes. Les générations qui n’étaient pas encore nées. »
Voir le cadre
Remarquer qui n’a pas été invité autour de la table.
« Qui n’est pas représenté dans votre objectif ? »
Douter de soi
Se demander si comprendre donne le droit de choisir.
« Plus je deviens capable de prévoir les conséquences, plus il devient facile de croire que ma compréhension me donne le droit de choisir. »
Sur quoi s’appuie ce chemin
1965
I. J. Good
Imagine une « machine ultra-intelligente » capable de concevoir de meilleures machines : l’idée d’une explosion d’intelligence.
1975 · 1997
Goodhart, Strathern
Un indicateur piloté se dérègle. Strathern en donne la formulation la plus connue.
2007
Legg & Hutter
Rassemblent les définitions de l’intelligence et proposent : atteindre des buts dans des environnements variés.
2008
Steve Omohundro
« The Basic AI Drives » : les sous-buts que presque tout système orienté vers un but tend à poursuivre.
2014
Nick Bostrom
Superintelligence : thèse d’orthogonalité, convergence instrumentale, problème du contrôle.
2017 · 2019
Stuart Russell et coll.
Le jeu du bouton d’arrêt ; Human Compatible : des machines utiles parce qu’incertaines.
Ce qui reste à penser
- Une intelligence peut-elle être grande si elle ne questionne jamais ses objectifs ?Poser au miroir →
- Quel indicateur, dans ma vie, est devenu une cible ?Poser au miroir →
- Qu’est-ce que je laisserais une IA décider à ma place, et pourquoi ?Poser au miroir →
- Quand ai-je eu raison de me laisser interrompre ?Poser au miroir →
Écrivez un futur possible sur ce thème, à quatre mains avec l’IA, dans l’atelier.
Pour aller plus loin
- SuperintelligenceNick Bostrom, 2014
- Human CompatibleStuart Russell, 2019
- Artificial Intelligence: A Guide for Thinking HumansMelanie Mitchell, 2019
- The Alignment ProblemBrian Christian, 2020