Faire confiance sans comprendre

On imagine souvent la superintelligence comme une question de degré. Elle serait à nous ce que nous sommes à un enfant, puis à un chien, puis à une fourmi : une échelle, et nous glissant vers le bas. L’image frappe, mais elle cache l’essentiel.

Car le chien n’a pas besoin de comprendre pourquoi nous faisons ce que nous faisons. Il n’est pas responsable de nos décisions. Nous, si. Et c’est là que la situation devient inédite.

Une confiance d’un genre nouveau

Nous faisons déjà confiance à plus compétent que nous. Je ne comprends pas comment mon médecin lit une radiographie, ni comment un pilote pose un avion par vent de travers. Mais je sais qu’en principe, je pourrais l’apprendre. Leurs raisons sont humaines : il existe un chemin, long peut-être, qui mène de mon ignorance à leur savoir.

Une superintelligence pourrait proposer des décisions justes dont les raisons n’auraient pas de chemin jusqu’à nous. Pas parce qu’elle les cacherait, mais parce que nos esprits n’auraient pas la place de les tenir. Elle pourrait alors nous offrir une explication — simplifiée, adaptée, rassurante. Et nous ne saurions jamais si cette explication est une traduction ou une fable.

Le consentement à l’aveugle

Toute notre architecture morale et politique repose sur une idée simple : on peut demander des comptes. Un juge motive sa décision. Un gouvernement justifie une loi. Un chercheur publie sa méthode. Nous n’acceptons l’autorité que si elle peut, au moins en droit, se rendre intelligible.

Que devient cette idée si les meilleures raisons deviennent illisibles ? On peut imaginer deux pentes. La première : refuser toute décision qu’on ne comprend pas, au prix de se priver de solutions meilleures. La seconde : s’en remettre, et devenir peu à peu les spectateurs de notre propre histoire.

Aucune des deux n’est satisfaisante. Entre elles, il y a peut-être une troisième voie qui reste à penser : non pas comprendre chaque décision, mais garder la main sur ce qu’on cherche. Savoir vers quoi l’on va, même si l’on ne sait plus comment y aller.

C’est une manière de dire que la question de la superintelligence nous renvoie, très vite, à celle de la sagesse.

Ce que cet essai laisse ouvert

• Peut-on consentir à une décision qu’on ne peut pas comprendre ?
• Une explication simplifiée est-elle encore une explication, ou déjà une fable ?
• Qu’est-ce qu’une démocratie où les meilleures raisons sont illisibles ?