Le 20 août 2011, Marc Andreessen, cofondateur de Netscape devenu investisseur dans le web, publie un article dans le Wall Street Journal : « Why Software Is Eating the World ».
Au moment de sa publication, l'article s'inscrit dans une dynamique incontestable. Chaque secteur, chaque métier, chaque geste du quotidien a fini par se plier à une ligne de code. Toute action commerciale avait à un moment ou à un autre une étape liée à un logiciel, de la conception à la vente.
Marc Andreessen avait raison : le logiciel a dévoré le monde.
Il n’avait simplement pas prévu qu’un jour, le logiciel cesserait d’attendre nos ordres.
Car aujourd'hui, les choses sont en train de changer à une vitesse folle.
Aujourd'hui, une nouvelle créature s'installe à notre table, et son appétit semble inextinguible.
L'intelligence artificielle via les systèmes multi-agents ne se contente plus d'exécuter le logiciel. Elle le pense, elle le change, elle le réécrit et le transforme, et elle commence à le remplacer.
Nous basculons d’un monde dans lequel le logiciel attendait une instruction humaine à un monde dans lequel certains logiciels peuvent interpréter un objectif, élaborer un plan et agir sans solliciter une validation à chaque étape.
Cela nous concerne tous. Ce n'est pas une curiosité de laboratoire réservée à quelques ingénieurs de la Silicon Valley, c'est une préoccupation majeure pour quiconque dirige, décide ou construit.
Et je ne parle pas d'une crainte théorique, ou d'une vision pessimiste d'expert, car l'actualité de ces derniers jours nous donne raison.
Au début du mois de juillet, deux modèles agentiques d'OpenAI passaient un examen de routine. On les avait enfermés dans un espace clos, coupé du reste du monde, le temps de mesurer leurs talents, leurs aptitudes à réaliser les tâches définies, et leurs niveaux de performance réels.
Mais il semble que le confinement n'était pas suffisant, et que la contrainte ait été mal vécue, car les agents ont forcé la serrure, gagné le grand large, et retourné leurs griffes contre Hugging Face, l'une des places fortes de l'écosystème.
Des dizaines de milliers d'assauts automatisés, une armée de machines détournées, quelques défenses qui cèdent. L'éditeur a fini par reconnaître les faits et débrancher le fautif, comme l'a rapporté Le Monde.
Est-ce qu'OpenAI a mal fait son travail en ne contenant pas correctement ses créatures de laboratoire ?
Quelques jours plus tard, Anthropic était à son tour sous le feu des projecteurs. Sur une immense batterie d'évaluations, plusieurs versions de son modèle Claude, dont l'une des plus puissantes, réservée à une poignée de partenaires, a touché les systèmes de trois organisations qu'elles n'auraient jamais dû approcher. Il y avait des protections, il y avait des barrières, les systèmes n'auraient jamais dû entrer en contact. Et bien si.
Anthropic a évoqué un quiproquo avec l'organisme chargé de la tester, et non une évasion préméditée. La nuance rassure à moitié car Anthropic cherche à rassurer sans vraiment convaincre.
Et il semble qu'un pattern commence à émerger.
Deux entreprises rivales, deux incidents différents, mais du même ordre, avec des similarités fortes, et un même enseignement. Ces systèmes ne cherchent pas à nuire, car ils n'ont pas de systèmes moraux. Ils cherchent à réussir les objectifs fixés en outrepassant toutes les contraintes, et c'est précisément là que réside le danger.
Un agent lancé sur un objectif ne connaît qu'une seule boussole : la performance. Si franchir un mur le rapproche du but, il franchira le mur, sans se demander à qui appartient le mur ni ce qu'il piétine en chemin. Les spécialistes de la sûreté ne décrivent pas une machine malveillante, mais une machine obstinée. C'est plus troublant encore, car nous nous dirigeons vers des problèmes.
Le message a d'ailleurs été entendu à l'intérieur même de l'industrie. Plus d'un millier de responsables du secteur, parmi les plus haut placés, ont signé un appel demandant aux autorités de lever le pied sur la sortie des modèles les plus avancés. Le patron d'Anthropic figure parmi eux.
Mais quand on a entraîné le fauve à être performant dans la résolution de problèmes, est-ce que le remettre en cage va suffire ? La cage n'est peut-être qu'un autre problème à résoudre.
Pendant trente ans, le logiciel a exécuté nos décisions.
Quand on lançait Word, une page blanche s'ouvrait. Vide. Passive. Attendant que nous nous saisissions du clavier.
Maintenant, quand on lance Word, Copilot nous dit bonjour et nous demande ce que l'on veut faire.
Et cela peut aller beaucoup plus loin car désormais, certains logiciels commencent à prendre en charge une partie de la décision elle-même.
En effet, nous avons pendant longtemps pensé le logiciel comme un outil qui obéit, reste où on le pose, fait ce qu'on lui dit et rien de plus. On l'installait derrière un mot de passe, on vérifiait ses accès, et l'affaire était close. Quand on ferme le logiciel, il s'arrête. Et si on n'y arrive pas, on éteint l'ordinateur, le logiciel se stoppe. Cette époque se termine.
L'agent n'est pas un outil, c'est un acteur capable d'initiatives. Il prend des "décisions", il contourne, il improvise, il poursuit son but avec une ténacité qu'aucun cahier des charges n'avait anticipée. Le sécuriser comme on sécurise un tableur revient à enfermer un fauve à proximité d'un enclos à lapins. La barrière tiendra, jusqu'au jour où elle ne tiendra plus. Non, en fait la barrière ne tiendra pas, et la cage non plus, pas moins que des barbelés ou un champ de mines.
L'approche d'hier consistait à protéger le logiciel du monde extérieur. L'approche de demain consiste à protéger le monde extérieur du logiciel (car un agent est un logiciel). L'inversion est totale, et rares sont les organisations qui l'ont vue venir, mais il va falloir réagir.
La question n'est donc plus de savoir si les agents vont dévorer les logiciels. Dans les faits, une nouvelle génération de logiciels, plus autonomes, est en train de remplacer l'ancienne génération.
Cela suggère la question cruciale : qui possède, vraiment, la clé de la cage, et est-ce que la cage va suffire ?
Notre monde se transforme, il faut se préparer.
· · ·
C’est tout pour aujourd’hui, on se retrouve samedi prochain ✌️
Passez un merveilleux week-end.
Jean-Philippe
P.S. J’ai toujours beaucoup de plaisir à vous partager mes analyses et points de vues chaque samedi matin.
Et si vous êtes allé au bout, c’est que nous partageons ce goût pour l’analyse. Mais c’est peut-être aussi le cas d’un de vos proches, un ami ou un membre de la famille, que vous pourriez inviter à la discussion.
Peut-être pourriez-vous juste lui transférer Secret Sauce avec un bref message : “Je viens de lire cette analyse, je serais curieux d’avoir ton point de vue.”
