Je viens de relire « Hackers » de Steven Levy avec ma fille. Levy décrit comment le poème de Brautigan de 1967, « All watched over by machines of loving grace », a inspiré les « Hardware Hackers » californiens des années 1970 et des organisations comme Community Memory.
En 2026, l’expression « all watched over by machines of loving grace » évoque l’image de l’humanité blottie dans les bras d’une IA puissante et alignée (« aimant l’humanité ») : un dictateur bienveillant de l’IA. En effet, dans son essai intitulé « machines of loving grace », Dario Amodei suggère (tout en reconnaissant une profonde incertitude) qu’une forme de l’économie future pourrait être organisée autour de systèmes d’IA (alignés sur les valeurs humaines) qui détermineraient comment « distribuer des ressources… aux humains sur la base d’une économie secondaire de ce que les systèmes d’IA pensent qu’il est sensé de récompenser chez les humains ». Cela semble placer les IA comme des parents qui contrôlent et subviennent aux besoins matériels de leurs enfants humains et décident comment les récompenser ou les punir. Pour moi, un tel « parent IA » ressemble beaucoup à un dictateur bienveillant.¹
Que vous pensiez que l’IA en tant que parent aimant soit une bonne ou une mauvaise issue, Brautigan et (plus important encore) les hackers californiens avaient une vision bien différente et plus décentralisée. Dans les années 1960, les ordinateurs étaient de grosses machines fabriquées par des entreprises comme IBM. Ils étaient détestés par beaucoup à gauche et considérés comme faisant partie du complexe militaro-industriel. Mais il y avait un groupe qui combinait une politique de gauche (ou du moins une attitude anti-establishment) avec un amour de la technologie, et croyait que les ordinateurs pouvaient devenir des outils de décentralisation et de libération. Pour cela, les ordinateurs géants et coûteux devaient céder la place à des machines petites et bon marché. C’est ce que faisaient les « hardware hackers », et c’est ce mouvement qui a conduit à l’Apple II et à la révolution de l’ordinateur personnel.
Aujourd’hui, comme les mainframes IBM des années 60, les systèmes d’IA sont grands et coûteux, et sont de plus en plus intégrés dans des applications militaires. Encore une fois, beaucoup de gens à gauche (et récemment aussi à droite) éprouvent une forte haine et peur de cette technologie. Bien qu’une certaine appréhension puisse être justifiée, en refusant de s’engager avec l’IA et de reconnaître ses capacités, ces groupes se rendent moins pertinents pour façonner le progrès de l’IA. De plus, alors que les États-Unis sont en tête de la frontière, nous prenons du retard sur l’IA à poids ouverts, et les modèles fermés sont confrontés à des restrictions croissantes. Toutes ces tendances ne présagent rien de bon pour un avenir plus décentralisé.
Les lois de mise à l’échelle nous disent que le moyen d’augmenter l’intelligence est d’avoir toujours plus de ressources — calcul, données, puissance. Par conséquent, contrairement aux années 1970, les IA ne deviennent pas plus petites et plus distribuées, mais plutôt plus grandes et dans des centres de données toujours plus grands. Dans son essai, Amodei décrit l’AGI comme « un pays de génies dans un centre de données ». Mais qui est le dirigeant de ce pays ? Est-ce l’entreprise d’IA qui possède le centre de données ? L’IA elle-même ?
Compte tenu de la tendance vers des systèmes plus grands et plus coûteux, il est possible que les quelques parties capables de se permettre de tels systèmes captent toute la valeur économique qu’ils génèrent. De plus, si les IA sont plus intelligentes que nous, la tentation de leur donner plus de contrôle pour des avantages économiques ou militaires pourrait être difficile à résister. Je crains que la concentration du pouvoir, que ce soit entre les mains de quelques entités ou de l’IA elle-même, puisse être la « voie par défaut ». Mais ce choix n’est pas inévitable.
Je suis aussi « bitter lesson pilled » et « scaling law pilled » que quiconque. Je conviens qu’en fin de compte, l’intelligence n’est que du calcul, qu’il ait lieu via des protéines ou du silicium, et qu’augmenter les unités de calcul augmentera l’intelligence. Mais cela ne détermine pas le résultat social ou économique. Oui, les systèmes d’IA deviendront plus puissants et bien plus intelligents que nous. Non, cela ne signifie pas que nous devons accepter des dictateurs IA, bienveillants ou non. Cela ne signifie pas non plus que seuls le gouvernement et quelques laboratoires devraient avoir accès à une IA avancée. Nous pourrions emprunter la voie du contrôle centralisé, mais nous n’y sommes pas obligés. Les gens, les institutions et les législateurs peuvent faire des choix sur la manière d’équilibrer efficacité, sécurité et autonomie individuelle. Ils n’ont pas à sacrifier cette dernière pour les premières.
Certains pourraient prétendre que les forces du marché et du capitalisme pousseront les gens à céder le contrôle aux IA. Mais l’économie concerne en fin de compte ce que les humains valorisent. Les humains sont des animaux sociaux et nous accordons de la valeur à des biens (par exemple l’or) non pas à cause de leur valeur intrinsèque mais à cause de la façon dont les autres humains les valorisent. L’IA changera radicalement ce que nous valorisons, même s’il est difficile de prédire de quelles manières. Je ne suis même pas sûr que des concepts économiques tels que la productivité, le travail, le capital et le PIB continueront à avoir un sens dans le monde post-AGI. Les physiciens savent que « plus est différent ». En étudiant de nouvelles échelles, qu’elles soient galactiques ou subatomiques, ils ont dû inventer de nouvelles théories, de la physique newtonienne à la relativité générale et à la mécanique quantique. Peut-être aurions-nous besoin d’un nouveau type d’économie.
D’autres pourraient dire qu’étant donné sa puissance, la sécurité exige que l’IA soit contrôlée soit par le gouvernement, soit par un laboratoire « soucieux de la sécurité », soit par l’IA alignée elle-même. Les risques sont réels — je travaille moi-même sur la sécurité de l’IA. Mais nous devrions aussi nous souvenir de la longue histoire de l’utilisation de menaces pour priver les gens de leurs libertés. Certaines de ces menaces étaient réelles — il y avait effectivement de nombreux espions soviétiques pendant la période McCarthy et la NSA a traité de véritables organisations terroristes à l’époque de Snowden. Mais avec le recul, nous avons réalisé que le compromis n’en valait pas la peine. Nous devrions investir dans des garde-fous mais être empiriques à la fois sur les risques et l’efficacité de nos méthodes. Essayer d’atteindre une sécurité parfaite contre tous les risques, réels et imaginaires, est non seulement voué à l’échec mais nous coûtera notre liberté en cours de route.
Les risques de l’IA peuvent conduire à un état d’esprit « la fin justifie les moyens » : « les bons doivent gagner » et eux ou la « bonne IA » doivent être aux commandes. Mais si nous voulons un avenir centré sur l’humain et décentralisé, alors aucune entité ne devrait être aux commandes. Aucune partie ne devrait avoir le monopole de l’intelligence. Cela inclut l’IA elle-même : bien que nous puissions et devions entraîner des garde-fous, la personnalité du modèle, aussi bonne soit-elle, ne remplace jamais notre processus démocratique.
Les États-Unis ont survécu et prospéré au cours des 250 dernières années non pas parce que tous nos présidents ont été des saints ou des génies, mais à cause de notre système de freins et contrepoids. J’espère que nous pourrons maintenir un tel système en place pour les 250 prochaines années, et garantir que nous, humains, soyons libres de poursuivre notre bonheur comme nous le définissons. Cela nécessite que la distribution du pouvoir des IA soit « intégrée dans l’ADN » de la façon dont nous construisons et déployons cette technologie. Si nous échouons à le faire, alors, tout comme les révolutions sanglantes mènent souvent à des régimes autoritaires, nous pourrions ne pas être en mesure d’atteindre un avenir décentralisé par des moyens centralisés.
Remerciements : J’ai décidé d’écrire ce billet suite à une discussion sur l’AGI avec Sam Altman. Cependant, les points de vue exprimés ici sont les miens et ne représentent ni Sam, ni OpenAI, ni Harvard.
Notes :
¹ Comme mentionné, Amodei admet une incertitude sur le sujet ; voir aussi « The Adolescence of Technology ». Il y a de nombreux points dans les deux essais avec lesquels je suis d’accord.
