Jean-Gabriel Ganascia : « Le risque de l’IA n’est pas métaphysique. Il est social, économique et politique »

Le risque d’extinction de l’humanité lié à l’IA est-il un scénario scientifiquement crédible aujourd’hui ?

Non. Ces histoires sont récurrentes et reposent généralement sur des situations de laboratoire parfaitement artificielles. On nous raconte depuis très longtemps le même récit : celui de la machine qui échappe à son créateur et finit par se retourner contre lui.

Ce qui m’intéresse, c’est justement de comprendre pourquoi ces histoires nous fascinent autant. Elles renvoient à des mythes extrêmement anciens. La Fontaine raconte déjà, dans Le Statuaire et la Statue de Jupiter, l’histoire d’un homme qui façonne lui-même une statue avant de se mettre à trembler devant sa propre création. C’est exactement le même imaginaire : nous créons quelque chose puis nous lui attribuons une puissance telle que nous finissons par en avoir peur.

Lorsque l’on examine les travaux scientifiques plutôt que les déclarations publiques, on constate que les scénarios présentés comme inquiétants reposent souvent sur des dispositifs expérimentaux extrêmement construits. Cela ne signifie pas qu’il n’existe aucun risque lié à l’intelligence artificielle. Mais le scénario d’une créature qui se rebellerait contre son créateur relève, selon moi, davantage de la fiction que de la réalité scientifique.

Ces alertes viennent pourtant de chercheurs et de dirigeants du secteur. Cela ne signifie-t-il pas que quelque chose a réellement changé dans les capacités des modèles ?

Il faut distinguer les déclarations des dirigeants et les publications scientifiques produites au sein de ces entreprises. Ce ne sont pas les mêmes choses.

Il faut aussi s’interroger sur ce qui motive ces discours. Il y a, à mon sens, une forme de marketing de la peur. Lorsqu’un dirigeant explique que la technologie qu’il développe pourrait être extraordinairement dangereuse, il affirme en même temps implicitement qu’il maîtrise une technologie d’une puissance considérable. Il se présente comme celui qui possède les secrets de l’apprenti sorcier, mais également comme celui qui serait capable de l’arrêter.

C’est une manière de dire : « Nous avons entre les mains quelque chose d’extrêmement puissant, mais heureusement, nous sommes là pour en assurer la sécurité. »

Il existe aussi aujourd’hui un contexte économique particulier. Des investissements absolument considérables ont été réalisés dans l’intelligence artificielle. Or se pose désormais la question de leur rentabilité et des gains de productivité réels qu’ils permettront d’obtenir. Les acteurs du secteur ont donc aussi des raisons économiques de s’interroger sur le rythme des investissements et du développement technologique.

Cela ne veut pas dire qu’il n’existe pas de transformations majeures. Elles sont bien réelles. Mais, selon moi, elles ne sont pas là où ces récits apocalyptiques nous invitent à regarder.

Pour comprendre ce débat, pouvez-vous nous expliquer simplement comment fonctionne une IA ?

Il faut d’abord préciser que l’expression « une IA » est, scientifiquement, un raccourci. L’intelligence artificielle est avant tout une discipline scientifique, née en 1956, dont l’objectif est notamment de modéliser certaines facultés mentales : la perception, le raisonnement, le langage…

Une des techniques utilisées repose sur ce que l’on appelle les réseaux de neurones formels. Le terme de « neurone » vient d’une analogie ancienne avec le fonctionnement du système nerveux, mais il ne faut pas imaginer pour autant que nous reproduisons réellement un cerveau humain. Ces réseaux sont constitués d’unités reliées entre elles par des connexions dont on peut modifier les poids. L’apprentissage consiste précisément à faire évoluer ces connexions afin que le système accomplisse de mieux en mieux une tâche.

Pendant longtemps, ces techniques ont donné des résultats limités. Puis l’augmentation des capacités de calcul et le développement des réseaux de neurones dits « profonds », comportant de nombreuses couches, ont permis d’obtenir des performances remarquables à partir des années 2010.

Ces mêmes techniques ont ensuite été utilisées pour l’IA générative. Dans le domaine du langage, on entraîne des réseaux extrêmement importants sur d’immenses corpus de textes afin qu’ils apprennent les relations statistiques existant entre les mots. À partir d’une séquence de mots, le système calcule ensuite quel mot est susceptible de venir après, puis le suivant, et ainsi de suite. Le résultat est spectaculaire : on obtient un texte syntaxiquement correct, souvent cohérent et vraisemblable. Mais cela ne signifie absolument pas que ce texte soit vrai. C’est une distinction essentielle.

Avec ChatGPT et les autres agents conversationnels, des techniques supplémentaires ont notamment permis d’ajuster les réponses afin qu’elles correspondent davantage aux attentes humaines. Mais nous restons face à des systèmes qui produisent du langage ; il ne faut pas leur attribuer automatiquement une intention, une conscience ou une volonté.

Où en est-on alors de la capacité des IA à contribuer à leur propre amélioration ? À partir de quand cette « auto-amélioration » pourrait-elle devenir un risque de perte de contrôle ?

Le problème vient en partie du vocabulaire que nous employons. On parle aujourd’hui d’« agents autonomes », mais le mot « autonome » prête à confusion.

Au sens philosophique et étymologique, être autonome signifie se donner sa propre loi. Ce n’est évidemment pas ce que font ces systèmes. Dans le vocabulaire technique, l’autonomie signifie simplement qu’une séquence allant de la prise d’information à la décision peut se dérouler sans intervention humaine à chaque étape.

Prenons une voiture dite « autonome ». Elle dispose de capteurs, interprète des informations, prend certaines décisions et agit en fonction d’un objectif qui lui a été donné. Mais elle ne décide pas elle-même de sa finalité. Si vous lui demandez de vous conduire à la piscine, vous ne souhaitez certainement pas qu’elle décide finalement de vous emmener chez le dentiste parce qu’elle aurait elle-même estimé que c’était préférable !

On devrait parfois parler davantage de systèmes « automatiques » que de systèmes « autonomes ». Derrière ces machines, il y a toujours des humains, des objectifs définis, des architectures, des données, des décisions. C’est pourquoi je suis très réservé devant l’idée d’une machine qui, tout à coup, s’émanciperait de l’humanité et déciderait elle-même de ses propres finalités.

Le danger de l’intelligence artificielle serait donc, selon vous, davantage social et politique que civilisationnel ?

Exactement. Je dirais qu’il n’est pas métaphysique. En revanche, les conséquences sociales, économiques et surtout politiques de ces technologies sont considérables. Les grands acteurs du numérique se trouvent désormais au bout d’une grande partie de la chaîne de valeur. Ils peuvent devenir des intermédiaires incontournables entre les individus et les services auxquels ils souhaitent accéder. Regardez ce qui s’est passé avec les plateformes de réservation hôtelière. Au départ, les hôteliers étaient satisfaits parce qu’elles leur permettaient de remplir leurs chambres. Puis ils ont découvert qu’ils devenaient dépendants de leur référencement et devaient reverser une partie importante de leurs revenus à ces intermédiaires.

Avec les agents conversationnels, cette logique peut encore s’accentuer. Si demain nous passons par eux pour choisir un hôtel, organiser un voyage, rechercher un service ou effectuer certaines démarches, la question devient : qui contrôle l’intermédiaire ?

Le numérique transforme profondément les rapports de pouvoir. C’est là que se trouvent, à mes yeux, les enjeux politiques majeurs.

Peut-on réellement compter sur les entreprises pour ralentir volontairement ? Ou la sécurité de l’IA doit-elle relever des États et d’une régulation internationale ?

Je suis très sceptique lorsque certains grands acteurs du numérique réclament eux-mêmes un ralentissement général.

On l’a déjà vu en 2023, lorsqu’une lettre ouverte appelait à suspendre temporairement certains développements en intelligence artificielle. Elon Musk figurait notamment parmi les signataires avant d’annoncer, peu après, le développement de son propre agent conversationnel.

Pour autant, la régulation est évidemment nécessaire. Mais encore faut-il savoir ce que l’on régule. Je partage sur ce point l’idée selon laquelle il est souvent plus pertinent de réglementer les usages et les secteurs concernés que « l’intelligence artificielle » comme une technologie abstraite.

Les enjeux ne sont pas les mêmes dans la médecine, l’emploi, la finance, l’éducation ou la défense. Une réglementation trop générale risque de manquer précisément les problèmes concrets auxquels nous devons répondre.

Quelle serait alors, pour vous, la ligne rouge : la capacité d’une IA qui justifierait de suspendre immédiatement son développement ?

Je ne poserais pas la question de cette façon, parce que cela revient encore à imaginer une capacité intrinsèque de la machine qui ferait soudain basculer le système.

Ce qui importe, ce sont les usages que nous faisons de ces technologies et les systèmes dans lesquels nous les intégrons.

Prenons le domaine militaire. On parle beaucoup « d’armes autonomes ». Là encore, le terme peut être trompeur. Un militaire souhaite avant tout disposer d’une arme fiable, robuste, capable d’exécuter une mission. Il ne souhaite pas qu’elle décide elle-même de changer de mission.

En revanche, l’utilisation de l’intelligence artificielle dans les systèmes militaires peut évidemment provoquer des conséquences dramatiques. Lors de la guerre en Afghanistan, des systèmes de renseignement permettaient notamment d’analyser des communications pour identifier des individus considérés comme des cibles potentielles. Plusieurs niveaux d’erreur pouvaient alors intervenir : dans l’interprétation des communications, dans l’identification de la personne ou encore dans la localisation de la cible.

Voilà un risque très concret : une erreur produite ou amplifiée par un système technique intégré à une chaîne de décision humaine.

Il faut donc être extrêmement vigilant face aux usages délétères de l’intelligence artificielle. Mais cela n’a rien à voir avec le fantasme d’une machine qui prendrait soudain le pouvoir sur l’humanité.

Et concernant les cyberattaques ? L’IA ne pourrait-elle pas permettre à des systèmes d’agir seuls ?

L’intelligence artificielle peut aider à détecter des failles de sécurité et peut donc être utilisée par des attaquants. Mais elle peut exactement de la même manière être utilisée par ceux qui cherchent à sécuriser les systèmes.

Dans une cyberattaque, il existe une intention humaine. L’IA peut accroître certaines capacités, accélérer la recherche de vulnérabilités ou automatiser certaines opérations, mais cela ne signifie pas que « l’IA » décide spontanément de lancer une cyberattaque.

C’est précisément pourquoi il faut sortir des scénarios apocalyptiques. Ils risquent de détourner notre attention des problèmes réels.

Finalement, nous aurions donc davantage à craindre une révolution sociale qu’une révolution « métaphysique » ?

Oui. Je ne veux surtout pas dire qu’il n’y a pas de transformations profondes ou de dangers liés à l’intelligence artificielle. Ils existent déjà.

L’emploi et le contenu des métiers vont être transformés. Certaines tâches sont automatisées, des rapports de dépendance économique apparaissent et les grands acteurs du numérique acquièrent une puissance considérable.

Ce sont ces transformations qu’il faut regarder.

Le problème, lorsque les entreprises qui sont elles-mêmes en train de transformer profondément le monde nous disent : « Attention, cette technologie pourrait nous échapper, mais heureusement nous sommes là pour vous protéger », c’est que nous risquons de regarder ailleurs.

Pendant que nous imaginons la fin du monde provoquée par les machines, nous ne regardons pas suffisamment la transformation sociale, économique et politique qui, elle, est déjà en cours.