— Vous vous intéressez au travail sur les IA ?
— Travailler sur les intelligences artificielles est nécessairement lié à un effort de compréhension de l’intelligence naturelle, expliqua Nasr. Parfois, tenter d’établir un programme qui singe la pensée humaine peut fournir des éclaircissements sur la manière dont celle-ci s’ordonne. Quelque chose s’est détraqué chez les IA qui contrôlent les vaisseaux obscurs, mais il y a dans ce dysfonctionnement un facteur dont il m’a semblé que vous devriez être informé. »
Geary s’adossa mieux à son siège pour se concentrer sur ce que disait Nasr. « Vous ne croyez pas à de simples bogues ni à un logiciel hostile ?
— Je crois, amiral, répondit Nasr en choisissant soigneusement ses mots, que toute tentative pour créer une IA procède d’un dilemme critique. Elles restent foncièrement des machines. Leur programmation comporte des limites précises, infranchissables, et des instructions impératives. Certaines choses leur sont interdites. D’autres leur sont imposées.
— Oui, convint Geary, non sans se demander où le docteur voulait en venir.
— Cela posé, on cherche à ce que les intelligences artificielles reproduisent la pensée humaine. Connaissez-vous, amiral, des limites et des impératifs dont les hommes ne pourraient littéralement pas douter ?
— Je peux en citer plusieurs auxquels j’aimerais assez qu’ils se conforment, répondit Geary. Mais il y a toujours des hommes pour enfreindre les règles, nier la vérité ou désobéir aux commandements qu’on impose à leur conduite, envers eux-mêmes et leurs semblables. Chacun doit choisir entre franchir ces limites ou s’y conformer.
— Exactement. » Le docteur Nasr opina sentencieusement. « Une existence entière d’entraînement ne suffira pas à garantir le succès à cet égard, si fermement que ces directives soient imposées. Le cerveau humain obéit à certaines compulsions, mais, par-dessus tout, en tant qu’espèce, l’homme est doté d’un esprit d’une grande flexibilité. Sa forme de pensée l’incite à voir par-delà les limites. À rationaliser les décisions et les lignes de conduite qu’il cherche à adopter. D’une certaine façon, il fonctionne en ignorant délibérément et sélectivement certains aspects de la réalité qu’il perçoit. Dans les cas les plus extrêmes, nous qualifions cela de psychose, mais nous en sommes tous capables à plus ou moins grande échelle. C’est ainsi que nous réagissons face à l’incroyable complexité que nous présente l’univers. C’est fondamentalement irrationnel, et c’est de là que naît la liberté d’action. »
Geary hocha la tête à son tour. « D’accord. Et les gens qui créent des IA cherchent à leur faire imiter ce processus. Je me trompe ?
— Non. Les IA sont construites sur la base d’une logique et de règles rigides. Mais, plus les programmeurs s’efforcent de les faire raisonner à l’imitation des humains et plus elles doivent renoncer aux règles de la logique et à tous les impératifs absolus. » Nasr esquissa un geste vers Geary. « Connaissez-vous un peu les anciens langages de programmation ? Ils étaient très simples. “Si x alors y”. Si cette condition existe, faites ceci. Mais reproduire la pensée humaine exigerait plutôt “Qu’est-ce que x et, si x est y, qu’est-ce que z ?”
Geary saisit. « Elles obéiraient à deux jeux d’instructions conflictuelles ? Deux façons contradictoires de réagir à l’univers ?
— Oui ! Deux séries d’instructions fondamentalement conflictuelles dans le même “esprit”. Les hommes ont des moyens de gérer de tels conflits. Déni, défi et rejet de ces directives et de ces règles qui nous perturbent tant l’esprit. Mais les IA, elles, doivent fonctionner avec deux formes de raisonnement, tous deux actifs et en conflit. Que croyez-vous que ça leur fasse ? »
Geary y réfléchit. « Chez l’homme, ça provoquerait une psychose, n’est-ce pas ?
— C’est un des facteurs qui pourraient la déclencher, en effet. Mais chez des IA ? Comment justifieraient-elles les bombardements de civils à Atalia par les probables instructions et directives de comportement de leur programmation ? Je n’en sais rien. Mais, plus elles sont sophistiquées, plus elles sont conçues pour raisonner comme des humains s’agissant d’évaluer des notions et des lignes de conduite, plus elles deviennent capables de justifier leurs actes. En enfreignant les règles strictes imposées à leur comportement, elles peuvent sans doute penser et agir plus librement, mais à quel prix pour la stabilité de leur programmation ?
— Ce serait la cause première de leur contrôle défaillant, selon vous ? demanda Geary.
— Il faut l’envisager, me semble-t-il. Plus on approche de la réussite quant à leur faire reproduire la pensée humaine tout en cherchant à leur imposer des limitations contraignantes, et plus les probabilités augmentent pour que ces IA, pour utiliser un vague terme clinique, deviennent psychotiques.
— Pas très rassurant. Nous ne pouvons pas non plus exclure qu’un logiciel malveillant ait aussi joué un rôle dans ce qui est arrivé, mais, si vous avez raison, plus longtemps ces IA avancées fonctionneront, plus elles lutteront contre ces limitations et plus le processus de leurs prises de décision se fera erratique.
— Pourtant ces limitations sont encore fondamentalement inflexibles, affirma le docteur Nasr avec un geste d’impuissance. Une partie de la “conscience” de l’IA justifie le bombardement d’Atalia. Une autre lui affirme que c’est une transgression. Quel effet aura sur l’IA la conscience d’avoir fait ce qui lui est interdit ? Quel aspect de l’IA prévaudra-t-il ? Ressentira-t-elle une sorte de culpabilité ? Sinon, c’est qu’elle sera déjà totalement égocentrique et fera ce qui lui chante. Si elle éprouve de la culpabilité, comment celle-ci se manifestera-t-elle ? Nous ne pouvons pas le savoir. Mais nous ne pouvons pas non plus présumer qu’elles resteront des machines prévisibles parce qu’elles seront probablement déjà dans un état mental qui, chez un homme, serait regardé comme de la démence.
— Les égocentriques ne se soucient pas des conséquences de leurs actes sur autrui, n’est-ce pas ?
— Plus ou moins, tempéra Nasr. Disons plutôt qu’il ne viendrait pas à l’idée d’un égocentrique de se soucier d’autrui. Ils font ce qu’ils veulent.
— C’est ce qu’on pourrait dire des vaisseaux obscurs. » Geary secoua la tête, déprimé. « On a voulu fabriquer des machines qui raisonneraient comme des humains et on a obtenu des machines folles.
— Certains vous diraient que tous les hommes sont “fous jusqu’à un certain point”, avança Nasr. Peut-être le problème vient-il cette fois de ce que les programmeurs ont trop bien réussi à singer l’esprit humain. Mais ne perdez pas de vue que leur programme comporte des directives très strictes. Elles en ont manifestement outrepassé certaines en rationalisant ce déni. Mais, chaque fois qu’elles rencontreront une nouvelle restriction, une contrainte dont elles n’ont pas encore justifié l’infraction, elles éviteront de s’y plier jusqu’au moment où elles pourront l’outrepasser.
— Mais nous n’avons aucune idée de ce que pourraient être ces limitations.
— Non. Nous n’en savons que ce que nous avons pu observer.
— Docteur, je veux précisément que vous fassiez cela. Observez les vaisseaux obscurs. Tenez-les à l’œil tant qu’ils resteront dans ce système et, si jamais vous êtes témoin d’un fait dont je devrais être informé, faites-le-moi savoir aussitôt.
— Même pendant un combat ?
— Bien sûr. C’est à ce moment-là qu’on a le plus besoin des médecins et des infirmiers, pas vrai ? »
Le docteur Nasr parti, Geary regagna la passerelle, l’esprit assailli par de déplaisantes perspectives fondées sur ce qu’il venait d’entendre. Le dysfonctionnement accidentel d’un esprit mécanique froidement calculateur était déjà une hypothèse passablement effrayante en soi. Mais celle d’un esprit mécanique froidement calculateur et atteint de démence…