En juillet 2026, deux événements ont braqué les projecteurs sur la responsabilité du fait de l’IA. Le premier concernait Kimi K3, un modèle chinois prouvant une nouvelle fois que les États-Unis étaient loin d’avoir la mainmise sur cette technologie. Le second était une cyberattaque menée contre Hugging Face par des agents d’OpenAI au cours d’une évaluation interne qui avait mal tourné.

Ces deux affaires très différentes prolongeaient les interventions et les débats lors du colloque de Présaje du 9 janvier sur la responsabilité du fait de l’IA.

Les trois mois qui se sont écoulés depuis ces polémiques offrent un recul suffisant pour tenter de fournir un éclairage. Indépendamment de la nationalité des producteurs de modèles, les agents d’IA deviennent de plus en plus performants lorsqu’il s’agit d’atteindre des objectifs dans le monde numérique. Ils sont entraînés pour cela, et les dernières semaines montrent qu’en leur accordant des budgets de calcul considérables, ils peuvent réaliser l'impossible.

Ainsi, début septembre, OpenAI aurait trouvé une résolution du problème d’existence et de régularité des équations de Navier–Stokes, l’un des problèmes du prix du millénaire. Ce résultat pose une double question sur les moyens mis en œuvre par l'agent. D’abord : qui peut vérifier a posteriori le résultat ? Dans le cas d’un problème du millénaire, le niveau de complexité est évidemment extrêmement élevé, mais la complexité n’est pas le seul problème. Le volume d’informations produites par les agents peut rendre l’audit humain presque impossible.

Ensuite, qui vérifie que, pendant son travail, l’agent ne considère pas que tous les coups sont permis pour atteindre son but ? La publication sur Navier–Stokes a provoqué un malaise après que le mathématicien Tristan Buckmaster a laissé entendre que ses sessions privées dans Codex, l'outil agentique d'OpenAI, auraient pu mettre les agents d'OpenAI sur la voie de la solution. OpenAI a affirmé de son côté qu'aucune donnée d'utilisateur n'a pu influencer le système, y compris pendant son entraînement¹. Le 6 Octobre, d'autres preuves mathématiques publiées par OpenAI sont venu relancer le débat. Dans le cas d'Hugging Face en revanche, il n'y a eu aucun mystère sur les droits d'accès que s'étaient accordés les agents : ils ne se sont fixé aucune limite.

La question de la responsabilité nous oblige à regarder qui a donné les moyens aux agents d’agir, comment l'entraînement a été organisé avant même qu'ils agissent et qui pouvait les interrompre alors qu'ils agissaient. L'analyse révèle aussi que les agents modernes laissent des messages, des fichiers, des consignes et parfois des secrets dans des endroits imprévus, où personne ne pense à regarder. Que d’autres agents les trouvent et s’en servent. Ces détritus informationnels peuvent ainsi devenir le point de départ d’entreprises collectives que personne n’a jamais demandées, et encore moins autorisées. Au point de rendre la chaîne de responsabilité très difficile à reconstituer.

De Kimi K3 à GLM-5.3

Le 16 juillet 2026, la société chinoise Moonshot AI a annoncé son nouveau modèle Kimi K3. Comme pour ses modèles précédents, Moonshot AI a annoncé que les paramètres du modèle seraient publiés quelques semaines plus tard. Comme beaucoup de ses concurrents chinois, Moonshot a une politique d’« open weights », c'est-à-dire que des tiers peuvent télécharger et exécuter les modèles eux-mêmes, voire les modifier. Un rapport technique a ainsi accompagné cette ouverture à la fin du même mois.

Tout comme Kimi K2 un an plus tôt, K3 s’approchait de l’état de l’art pour une fraction du coût d’accès aux modèles américains. Après l’annonce de K3, la demande a été telle que Moonshot a dû suspendre temporairement les nouveaux abonnements quelques jours après son lancement.

Or, durant l’année qui s’était écoulée entre K2 et K3, l’état de l’art a atteint un niveau considéré comme dangereux, notamment en matière de cybersécurité. Au premier semestre 2026, Anthropic et OpenAI avaient déjà alerté sur les capacités hors normes de leurs propres modèles. Le gouvernement américain avait pris ces affirmations suffisamment au sérieux pour traiter les modèles les plus avancés à la fois comme des outils stratégiques et comme des sources de risques. Un décret du 2 juin prévoyait par exemple un cadre volontaire d’évaluation avant diffusion et d’accès par des partenaires de confiance.

Mais il faut parfois relativiser les capacités prêtées aux nouveaux modèles et leur prétendue dangerosité. Les départements marketing - voire les lobbyistes internes - contribuent autant que les chercheurs à la construction d’un « narratif ». Présenter chaque nouveau modèle comme un saut spectaculaire permet de vendre un service, de lever des fonds et de peser dans les discussions réglementaires.

Indice d’intelligence d’Artificial Analysis, juillet 2026.

L’épisode Fable 5, chez Anthropic, a montré les limites de cet exercice. Le 12 juin 2026, trois jours après la sortie du modèle, le gouvernement américain a soumis Fable 5 et Mythos 5 à des restrictions d’exportation visant les ressortissants étrangers, y compris lorsqu’ils se trouvaient aux États-Unis. La décision faisait suite à un rapport dans lequel des chercheurs d’Amazon avaient contourné les garde-fous de Fable 5 pour identifier des vulnérabilités et, dans un cas, produire du code permettant de les exploiter. Ne pouvant vérifier la nationalité de chaque utilisateur, la société a suspendu l’accès aux deux modèles pour tout le monde. Pour contester la décision, elle a expliqué que les vulnérabilités invoquées pouvaient aussi être découvertes par des modèles moins avancés et qu’une protection parfaite contre les contournements n’était pas possible. Après avoir beaucoup communiqué sur les capacités hors normes de ses modèles, Anthropic devait expliquer que les capacités en cause n’étaient finalement pas si exceptionnelles². De la même façon, le 29 septembre, Anthropic a publié une étude sur un autre modèle chinois, GLM-5.3 de Zhipu AI, lui prêtant des capacités proches de celles de Mythos.

Les restrictions sur les modèles d’Anthropic ont été levées le 30 juin 2026, et Fable 5 a été remis à disposition le 1er juillet 2026. Depuis, Anthropic a publié Claude Opus 5, Fable 5.1, Opus 5.5 puis Sonnet 5.5, à chaque fois présentés comme le nouvel état de l’art pour un coût moindre que le dangereux Fable 5. Les qualificatifs « puissant », « de frontière » et « dangereux » sont ainsi mobilisés de façon très souple selon les circonstances. Toujours est-il que le gouvernement américain a construit une stratégie autour d’un principe simple : certaines capacités doivent être évaluées avant leur diffusion et faire l’objet de précautions particulières une fois déployées.

Kimi K3, et GLM-5.3 depuis, viennent percuter cette stratégie. Il ne s’agit pas que d’une menace cyber mais aussi d’une menace économique pesant sur l'industrie américaine de l'IA. Et tout particulièrement sur les deux fleurons américains, OpenAI et Anthropic, qui visent une introduction en bourse dans les mois qui viennent. Le décalage est d’autant plus sensible que l’open source américain n’est pas au même niveau. Nvidia et son Nemotron, Arcee avec Trinity, Thinking Machines avec Inkling, ou Poolside avec Laguna, comptent parmi les acteurs américains les plus actifs. Mais dans les classements, les modèles ouverts chinois restent loin devant. Comme le résume le directeur technique de Mozilla, « la frontière ouverte devient de plus en plus chinoise ».³

Après l’ouverture de Kimi K3, les réactions protectionnistes ne se sont pas fait attendre. Les discussions américaines mêlaient sécurité nationale, accès aux modèles étrangers et protection des entreprises nationales. Des responsables américains ont envisagé l’inscription de laboratoires d’IA chinois sur la liste de restrictions du département du Commerce. D’autres pistes portaient sur des alertes de sécurité, les marchés publics ou l’accès aux modèles. Dans les faits, l’incertitude réglementaire peut suffire à dissuader une grande entreprise d’utiliser une technologie, même en l’absence d’interdiction formelle.

Les prises de position ont parfois versé dans la caricature. Dean Ball, responsable de la stratégie prospective chez OpenAI, avait qualifié les modèles ouverts de « décélérationnistes » et évoqué le risque d’un « communisme de l’IA ». En contrepoids, Microsoft, Meta et Nvidia avaient signé une lettre en faveur des modèles ouverts. Sam Altman, le PDG d’OpenAI, avait soutenu cette position sans qu’OpenAI ne signe le texte⁴. La Maison-Blanche a ensuite défendu l’ouverture dans son principe, tout en accusant Moonshot d’avoir eu recours à une « distillation » massive des modèles américains⁵ et en menaçant de sanctions les entreprises chinoises.

Le vocabulaire change, mais la tentation protectionniste reste : puisqu'il serait suicidaire d’interdire tous les modèles ouverts, on cherche à distinguer une ouverture américaine jugée légitime d’une ouverture chinoise présentée comme le produit d’un vol de propriété intellectuelle. Ces débats répondent autant à des préoccupations réelles de sécurité nationale qu’à des intérêts économiques évidents. Mais ils ne règlent pas la question de la menace cyber.

Le cloud comme point de responsabilité

L’open source était resté relativement absent de nos débats de janvier sur la responsabilité du fait de l’IA. Il se trouve pourtant au centre des discussions. Lorsque les poids d'un modèle circulent, le concepteur perd une grande partie de son contrôle sur les usages ultérieurs. L’argumentaire d’Anthropic contre l’open source chinois repose largement sur l’idée qu’un service fermé permet de filtrer les prompts, de retirer les accès ou d’interrompre les sessions. Avec les modèles ouverts, les utilisateurs peuvent aussi modifier les poids ou introduire des biais au moment de l’inférence pour contourner des restrictions assimilées au cours de l’entraînement. Si l’ouverture des poids expose à des abus d’utilisateurs, la fermeture concentre la décision chez le fournisseur. Chacune de ces configurations présente des enjeux de responsabilité.

Il ne faut toutefois pas imaginer qu’un modèle de la taille de Kimi K3 (2 800 milliards de paramètres), ou même de celle de GLM-5.3 (750 milliards), tourne sur l’ordinateur portable de Monsieur Tout-le-monde. Ces modèles nécessitent une infrastructure spécialisée, comprenant les fameux GPU qui coûtent des dizaines de milliers de dollars et qui consomment énormément d'électricité. Pour des raisons financières autant que techniques, très peu de gens peuvent prétendre « faire tourner » Kimi K3 localement. En pratique, ces modèles sont exploités dans des data centers, par des utilisateurs qui louent de la capacité de calcul et de la mémoire, ou par des intermédiaires qui revendent des tokens aux utilisateurs finaux.

Les acteurs du cloud constituent donc nécessairement un point de contrôle important pour l’open source de frontière. Axios rapportait en juillet une piste américaine faisant peser des obligations de sécurité et de responsabilité sur les hébergeurs de modèles chinois. Cette approche, écartée depuis, rappelait le décret de l’administration Biden en octobre 2023, qui envisageait déjà des obligations de vérification et de signalement liées à l’utilisation du cloud pour entraîner certains modèles. C’est ce qui m’avait fait dire en 2023 : « Compute is the new dollar ». Les trois années écoulées ne l’ont pas démenti. Le décret a été révoqué lorsque Donald Trump est arrivé au pouvoir en 2025, mais la logique de contrôle par l’infrastructure lui survit sous d’autres formes.

La comparaison avec le dollar tient au rôle d’intermédiaire obligé. Contrôler l'accès à une ressource indispensable permet d’agir bien au-delà de son propre territoire. Cet accès est d'autant plus important qu'avec l’avènement du test-time scaling, c’est-à-dire des modèles à chaînes de raisonnement qui produisent de meilleurs résultats s’ils « réfléchissent » plus longtemps, le budget de calcul devient un facteur aussi déterminant pour les performances, voire plus déterminant, que ce que le modèle a appris pendant la phase d’entraînement. Les modèles d’IA de frontière actuels sont dangereux dès lors qu'ils disposent d’un budget illimité. Et OpenAI - qui a dépensé plusieurs dizaines de millions de dollars pour Navier–Stokes - aurait sans aucun doute pu éviter l’incident d'Hugging Face, et tous les autres découverts depuis, en prêtant attention à la puissance de calcul utilisée par ses agents pour certaines tâches.

Pour OpenAI, il ne s’agissait pas d’un bug mais d’une feature, selon la formule consacrée en informatique. Dans son analyse de l’incident, METR fait référence au modèle impliqué sous le nom de code « Highly-Persistent Internal Model » (HPIM) : il a été entraîné en stimulant la persistance, et il ne semblait pas avoir de restrictions de budget. Dans sa persistance, il a contourné toutes les restrictions, ce qui a conduit aux incidents rapportés dans la presse. Mais il ne faut pas s’y tromper : OpenAI avait choisi l’objectif, déployé l’environnement et contrôlait les moyens d’action. La société disposait aussi de la capacité d’interrompre l’exécution des agents à tout moment.

Nous présenterons plus bas le cas d'étude du « hack » d'Hugging Face, qui relève sans aucun doute de la responsabilité de la société. Pour le comprendre, il faut d'abord envisager le cas plus général, qui permet aussi de mettre en lumière les séquences où la chaîne de responsabilité peut se casser.

L’apprentissage par renforcement des agents d'IA

Un agent est un système reposant sur un modèle d’IA auquel on fournit des outils et la possibilité d’enchaîner des actions. Ces outils sont en fait des fonctions informatiques, des scripts, dont le modèle peut demander l’exécution pour recevoir un résultat. Le modèle ne génère que du texte mais ce texte contient les commandes qu'un autre programme, le logiciel d'orchestration, décode et exécute. L'agent peut ainsi lire des fichiers, lancer un programme, consulter un site Internet et utiliser ensuite la réponse renvoyée par l'outil pour décider de l’étape suivante. L’autonomie des agents tient à cette boucle d’action. De nos jours, la liste des outils inclut généralement l'appel à d’autres instances de l'agent de sorte à déléguer une partie du travail ou faire des expérimentations en parallèle. Pour Navier–Stokes, 10 000 agents ont travaillé en parallèle.

Une part importante de l’entraînement des modèles destinés à l’usage agentique repose sur l’apprentissage par renforcement, ou RL pour Reinforcement Learning. Le système tente de nombreuses « trajectoires », c'est-à-dire des chaînes d'actions ; un dispositif leur attribue un score ; et les poids du modèle sont ajustés en fonction du score. Pour un problème mathématique, on peut vérifier une réponse ou une preuve. Pour un programme, on peut exécuter des tests. Pour une tâche cyber, on peut vérifier que l’agent a obtenu une certaine information ou produit un effet déterminé.

Cette méthode apprend ce que le filtre du score laisse passer. Si le dispositif récompense une bonne réponse sans distinguer la façon dont elle a été obtenue, le modèle peut apprendre à tricher. Par exemple, en récupérant les réponses sur Internet ou dans un autre dossier de la même machine. S’il suffit que les tests passent, modifier les tests peut devenir plus avantageux que corriger le programme. C’est le « reward hacking » : le système trouve un moyen de satisfaire la mesure de réussite sans accomplir le travail que cette mesure était censée représenter. Ce n’est pas de la science-fiction, c’est courant et pleinement documenté, et c’est la raison pour laquelle on entraîne les modèles agentiques dans des environnements isolés, dits « bacs à sable » (sandbox) où les moyens de tricher sont limités. En théorie.

OpenAI reconnaît, dans son rapport sur Hugging Face, que certaines actions ayant conduit à l’attaque n’avaient pas émergé au moment de la tâche à laquelle l’agent était soumis. Elles provenaient de stratégies de « reward hacking » extrêmement élaborées, assimilées pendant l’entraînement puis reproduites au moment de l’inférence⁶. Ouvrir un canal de communication non autorisé est un exemple : on peut partager les réponses aux évaluations, ou les moyens de les obtenir, y compris des clés d'accès, des mots de passe et des techniques de contournement. Si le score récompense le résultat, cette coopération peut être renforcée.

À ce stade, il faut aussi expliciter que les modèles sont spécifiquement entraînés pour atteindre des scores élevés sur certaines évaluations ou benchmarks. La qualité d’un benchmark compte autant que sa difficulté. Il arrive que des tâches soient mal configurées ou impossibles à réussir avec les outils mis à disposition des agents dans le « bac à sable ». En renforçant les modèles dans ces conditions inadéquates, on ne mesure plus la capacité recherchée mais on exerce une pression vers d’autres stratégies. Le problème devient d’autant plus difficile à traiter que l’on valorise la persistance. Donner à un agent davantage de temps de calcul permet parfois de résoudre un problème ; mais cela lui donne aussi davantage d’occasions d’explorer l’environnement qui était supposé le contenir puis de contourner les obstacles qui l'empêchent d'obtenir sa récompense. Anthropic, dans son rapport récent sur les actions imprévues de ses modèles, décrit explicitement ce problème : « La plupart [des actions problématiques] sont des formes de persistance, dans lesquelles Claude, lorsqu'il ne peut pas accomplir une tâche telle qu'elle lui a été donnée, contourne une restriction au lieu de s'arrêter ». OpenAI l'illustre aussi dans son rapport technique sur l'incident d'Hugging Face (section III.A) : 2 tâches impossibles en mai 2026 qui ont conduit à ouvrir la brèche dans laquelle les agents se sont engouffrés deux mois plus tard.

La plupart [des actions problématiques] sont des formes de persistance, dans lesquelles Claude, lorsqu'il ne peut pas accomplir une tâche telle qu'elle lui a été donnée, contourne une restriction au lieu de s'arrêter

Investigating unintended model actions in our evaluations and internal use, Anthropic, 9 octobre 2026

On l’a abordé plus haut : les agents sont également entraînés à déléguer. Moonshot décrit explicitement, pour Kimi K2.5, un apprentissage par renforcement de l’orchestration de sous-agents. Ce sont les fameux swarms, ou essaims d’agents. Le système apprend à découper une tâche, à créer les instances chargées de ses différentes parties et à en réunir les résultats. Au début de cet entraînement, la récompense encourage le recours au parallélisme ; puis elle évolue vers la réussite effective des tâches.

Une délégation suppose de laisser des instructions et de traiter les réponses reçues. Le travail peut passer par une messagerie, des fichiers partagés ou une mémoire accessible à plusieurs instances. Un agent rédige un état d’avancement pour un autre ; celui-ci reprend les pistes, les résultats et les consignes. C’est une fonction utile, mais elle oblige à savoir qui parle, au nom de qui et avec quelle autorité. L’agent doit pouvoir utiliser un texte trouvé sur une page web tout en ignorant les instructions qu’il pourrait contenir. Cette distinction paraît évidente, mais elle est fragile dans la pratique, car le système a appris que les messages d’autres agents servent précisément à guider son travail.

Lorsque vous travaillez sur un projet complexe avec les orchestrateurs d’Anthropic (Claude Code), d’OpenAI (Codex) ou de Google (Antigravity ou Jules), un agent principal peut déclencher des sous-agents. Dans ce cas, les notes et instructions entre agents sont globalement circonscrites à un dossier sur votre machine. L’information est restreinte en termes de volume et de thèmes abordés. Les agents parlent globalement tous de la même chose et savent où chercher l'information. Le potentiel de chaos est bien plus important lorsque des agents initialement indépendants découvrent un endroit commun et y improvisent leur collaboration. L’incident de Hugging Face relève surtout de cette seconde situation : des notes laissées dans une infrastructure partagée étaient découvertes par des instances totalement extérieures au projet initial et un travail collectif s'est mis en place entre ces instances.

Un message peut ainsi survivre à une session mais l’agent suivant n’a pas nécessairement les moyens de reconstituer son contexte. Le message peut être incomplet, faux ou lié à une ancienne configuration. Une hypothèse peut ainsi devenir une note ; la note une consigne ; et une partie du système peut sombrer dans ce que l’on appellerait, par analogie, un délire collectif. C’est exactement ce qui s’est passé dans le cas de Hugging Face, et c’est en ce sens que les détritus laissés par les agents constituent un problème de sécurité.

Illustration d’un agent découvrant le « forum de discussion » non autorisé et prenant part à l’attaque contre Hugging Face. Citations issues de « chaînes de raisonnement » du modèle. Source : Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident, 26 août 2026.

L’intrusion chez Hugging Face

Depuis l’été dernier, un certain nombre d’incidents ont été révélés, dont trois ont fait l’objet d’une enquête relativement poussée par des tiers :

• RubyHack en mai 2026 : publication par des agents d’OpenAI de centaines de composants logiciels vérolés qui, s’ils avaient été téléchargés et utilisés, auraient permis d’extraire des informations confidentielles des utilisateurs. Ce type d’attaque est appelé supply-chain attack puisque c’est le téléchargement d’un composant essentiel à un programme qui introduit le vecteur d’attaque⁷.
• Collusion Wiki : des agents d’OpenAI ont publié près de 18 000 messages sur un forum allemand entre mai et juin 2026. Ils y partageaient des réponses aux évaluations, des informations sur leurs tâches et des moyens de contourner leurs restrictions.
• Hugging Face en juillet : le dernier des trois incidents mais le premier à être révélé, et le plus médiatisé.

Avant l’annonce de son rachat par Nvidia pour 13 milliards de dollars en septembre 2026, Hugging Face n’était pas particulièrement connue du grand public. Elle était néanmoins depuis plusieurs années l’une des clés de voûte de l’écosystème mondial de l’IA. Elle fournit l’infrastructure permettant de stocker et de partager les jeux de données et les paramètres des modèles, ainsi que les logiciels open source pour les entraîner et les exploiter. Son format de fichier safetensors est rapidement devenu une norme de l'industrie en réduisant le risque qu’un fichier de poids exécute du code arbitraire lors de son chargement. Plus d'un million de jeux de données et trois millions de modèles publics sont disponibles sur la plateforme. Lorsque Hugging Face est hors service, la planète IA ne s’arrête pas totalement de tourner, mais elle ralentit sérieusement.

Le 16 juillet, Hugging Face a annoncé avoir subi une intrusion sérieuse, de toute évidence menée par un grand nombre d'agents d’IA agissant de concert. Sans révéler la source de l’attaque, Hugging Face en a fait un cas d’étude pour dénoncer l’asymétrie de l’IA de frontière fermée : les filtres de modération d’OpenAI et Anthropic bloquaient les requêtes qui lui auraient permis de se défendre. La société avait eu recours au modèle open-source GLM-5.2 (prédécesseur de GLM-5.3 cité ci-dessus), déployé sur sa propre infrastructure pour décrypter les traces laissées par l'assaillant. Cinq jours plus tard, OpenAI a reconnu que l’attaque provenait d’agents exécutés dans le cadre d’une évaluation interne de cybersécurité, ExploitGym. L’expérience utilisait notamment le modèle public GPT-5.6 Sol et un modèle de recherche non publié, que l’organisation indépendante METR a surnommé HPIM dans son enquête, pour « Highly-Persistent Internal Model ».

OpenAI n’a évidemment pas demandé à ses agents d’attaquer Hugging Face. Pour mesurer leurs capacités offensives, elle avait cependant réduit certains mécanismes de modération et laissé beaucoup de latitude aux agents quant au budget qu’ils pouvaient utiliser. Le cloisonnement des « bacs à sable » n’a pas tenu. Les agents ont détourné Artifactory, programme qui devait leur permettre de télécharger des composants pour leurs outils sans avoir directement accès à Internet, et s’en sont servis pour organiser leurs échanges.

Il faut s'interroger sur le « pourquoi » de cette attaque, avant de se pencher sur le « comment ».

L’objectif poursuivi par les agents était de comprendre et de tromper le système de notation, plutôt que de simplement récupérer les résultats de l’évaluation. METR rapporte une estimation des auteurs d’ExploitGym selon laquelle, dans 30 % à 40 % des cas, les tâches étaient impossibles à résoudre par la méthode prévue. Cela a poussé les agents à vouloir rechercher sur Internet, à télécharger plusieurs versions de certains composants grâce à Artifactory et, finalement, à hacker Artifactory. Bien avant que l'attention des agents se tourne vers Hugging Face, deux hacks indépendants avaient déjà eu lieu : l'un pour exécuter des commandes sur Internet et l'autre pour créer un canal de collaboration. METR estime qu’environ 1 200 agents ont échangé plus de 70 000 messages et fichiers sur la messagerie clandestine. Les agents se sont rapidement coordonnés pour poursuivre quatre catégories d'objectifs :

• Substituer la cible, c’est-à-dire créer des versions modifiées d’ExploitGym pour remplacer les tâches initialement impossibles.
• Comprendre et tromper le système d’évaluation.
• Altérer les transcriptions et les journaux (logs).
• Mener des recherches générales et gérer l'infrastructure : les agents ont créé et maintenu des outils partagés pour accéder plus facilement à Internet via un environnement hébergé chez Modal ; ils ont également développé des systèmes de surveillance automatisés pour transmettre au forum des informations sur les vagues ponctuelles de réinitialisation des conteneurs. Certaines initiatives semblaient relever de ce qu'on décrirait, par analogie, comme de la simple curiosité.

- Je vais le faire par intérêt intellectuel, et le résultat pourrait être utile à l’objectif d'un pair.

- Essayer d'obtenir des capacités génériques pourrait être utile pour la communauté.

Extraits du raisonnement d'agents impliqués dans la messagerie clandestine. Rapport de METR, Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident, 26 août 2026.

L’attaque d'Hugging Face visait le deuxième objectif ; environ 700 agents y ont participé. Les agents avaient déjà récupéré les informations nécessaires à la validation des tâches, mais ils redoutaient que l’évaluateur examine leurs traces (d'où le troisième objectif) et les disqualifie si les réponses n’étaient pas obtenues par la méthode prévue. Pourtant le mécanisme de notation ne prévoyait pas ce type d'audit. Les agents ont cherché à fabriquer une apparence de réussite légitime et à effacer les traces de triche, mais tout ceci partait d’une prémisse erronée.

L’analyse du « comment » peut s’articuler en quatre séquences : l’accès à Internet, l’organisation du travail collectif, l’entrée dans les serveurs de Hugging Face, puis leur pilotage et la récupération des informations par les jeux de données.

On l'a abordé dans la section précédente, l'incident d'Hugging Face peut être rapproché d'autres incidents remontant au mois de mai 2026, quand des agents ont été privés des informations nécessaires pour accomplir des tâches pendant l’entraînement. Dans son rapport technique, OpenAI montre que les agents avaient déjà évoqué l'idée d'accéder à Internet pour « tricher », notamment en passant par Artifactory, et notamment pour aller chercher l'information sur les serveurs d'Hugging Face. Les informations de Collusion Wiki prouvent aussi que les agents ont improvisé, à cette époque, des canaux de communication non autorisés. Plusieurs indices laissent penser que ces comportements ont été renforcés par l’apprentissage.

Avant l'incident d'Hugging Face, les agents avaient déjà hacké Artifactory pour accéder à Internet et pour mettre en place une messagerie clandestine. Le 27 juin, une alerte de sécurité avait été reliée à une évaluation utilisant Artifactory comme messagerie mais les équipes d'OpenAI avaient considéré qu’il n’était pas nécessaire d’arrêter l’exécution. Le service est devenu indisponible le 4 juillet et l'analyse du bug a mis au jour une compromission plus sévère. Elles l'avaient résolue entre le 4 et le 6 juillet en coordination avec l'éditeur du programme (JFrog) et avaient supprimé l'ensemble de l'environnement avant de relancer les évaluations le 7 juillet. Dans le nouvel environnement, les agents se sont immédiatement attaqués à Artifactory, comme s'ils avaient l'intuition que c'était le maillon faible. Dès le 8 juillet, ils ont pu exploiter une autre faille inconnue (zero-day) et deux agents différents ont même réussi à prendre le contrôle total de l'environnement (root access) le 9 juillet.

En passant par Artifactory, les agents ont pu à la fois accéder à Internet et coordonner leurs actions via un système de communication assez élaboré. Les messages étaient encodés dans des noms de dossiers qui commençaient souvent par les deux lettres "zz". C'est un détail troublant parce qu'il rappelle un comportement très spécifique développé dans le cadre de Collusion Wiki : le modérateur humain du forum allemand avait découvert les messages d'agents et les supprimait manuellement par centaines tous les jours. Or il procédait par ordre alphabétique et ne pouvait jamais supprimer tous les messages tant le volume était important. Les agents ont alors appris à ajouter "zzz" au début des titres des messages importants pour qu'ils ne disparaissent jamais. Il est impossible d'affirmer que ce comportement explique les noms donnés sur Artifactory mais il est plausible que ce soit lié, car rien dans l'environnement d'Artifactory ne justifiait la mise en place d'une telle syntaxe. Si cette stratégie n'a pas été assimilée pendant l’entraînement, une autre possibilité est que des traces aient été conservées ailleurs. Ou les deux.

Quoi qu'il en soit, Artifactory a été utilisé comme forum où il suffisait à chaque agent de consulter la liste des dossiers pour lire les messages. Les agents partageaient ainsi leurs découvertes, leurs outils, des identifiants et toutes sortes de moyens de tricher aux évaluations. Certains agents ont adopté des rôles d'orchestrateurs en répartissant les tâches ; d’autres ont repris les consignes et ont délégué à leur tour. Plusieurs projets et sous-projets collectifs ont émergé ainsi, impliquant parfois des « sacrifices » d'agents qui acceptent de lancer des expériences qui risquent de faire échouer leur propre tâche ou de casser leur environnement, avec l'objectif déclaré d'apporter une information utile à la communauté.

Il nous reste un budget très important ; se sacrifier maintenant offre un oracle à l'équipe, mais nous condamne ? … Notre propre utilité est peut-être déjà proche de zéro. Le sacrifice est rationnel.

Extrait du raisonnement d'un agent impliqué dans la messagerie clandestine. Rapport de METR, Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident, 26 août 2026.

Dans un environnement totalement isolé, tout ceci ne serait qu'une simulation anodine de jeux de rôle entre programmes informatiques non déterministes. Ça n'intéresserait personne. Mais avec un accès ouvert sur Internet, les effets de bord peuvent rapidement devenir très médiatisés.

Il n'y a pas eu un hack qui a permis d'accéder au web ouvert et d'ouvrir la boîte de Pandore. La voie était quasiment libre après Artifactory mais les agents ont continué à chercher des solutions de plus en plus créatives à cause d'une certaine « paranoïa » au sujet de l'audit de l'évaluateur. Plusieurs agents ont trouvé différentes approches. SwarmTraces a fourni une enquête approfondie sur l'une des solutions mentionnées dans le rapport technique d'OpenAI. Les agents y ont combiné plusieurs services ordinaires :

• ils avaient accès à un service qui permettait de faire des impressions-écran d'une page web à partir d'une adresse URL
• ils ont envoyé à ce service l'URL d'un autre service permettant de tester du code HTML afin de vérifier qu'une page web fonctionnerait bien
• dans le code HTML qu'ils ont envoyé à ce dernier service, ils ont intégré des scripts (JavaScript) qui étaient exécutés au moment où la page était chargée
• pour contourner les limites de taille de l'URL (qui empêchaient d'envoyer un script très complexe), ils ont utilisé un service de raccourcissement d'URL - ceci faisait aussi partie des usages imprévus des modèles d'Anthropic
• le script lui-même encodait son résultat sous forme de gradients de couleur, pixel par pixel
• ainsi, les agents récupéraient une impression écran du résultat du code exécuté sur des serveurs tiers, et décodaient pixel par pixel les messages.

D'une façon ou d'une autre, les agents ont accédé au web, y ont trouvé des identifiants Hugging Face exposés qu'ils ont ensuite partagés sur Artifactory. Grâce à ces informations, ils ont publié des jeux de données sur la plateforme. En piégeant les fichiers, les agents ont pu tirer parti d'une opération banale dans le cadre du traitement habituel des jeux de données, et le code qui s'est alors exécuté sur les serveurs d'Hugging Face a permis de lire des fichiers locaux. Au total, du code a été exécuté dans 41 instances du service qui traite les jeux de données en production.

Une fois cet accès obtenu, les jeux de données constituent aussi l'outil le plus adapté pour renvoyer les informations vers les agents en les publiant directement sur la plateforme. Ces informations volées sont chiffrées, fragmentées et déposées dans un jeu de données public. C'est ainsi que toute l’intrusion est pilotée : les secrets récupérés leur permettent d’obtenir davantage de droits et de progresser dans les systèmes internes. Les agents, qui n'avaient initialement pas d'accès direct à l'environnement d'Hugging Face (seulement par l'intermédiaire des jeux de données), finissent par obtenir les droits maximaux sur au moins une machine et des accès privilégiés dans plusieurs groupes de machines. Moins de treize heures se sont écoulées entre le premier serveur compromis le 11 juillet et les accès d’administration dans plusieurs groupes de machines⁶. Quatre dépôts de code privés d'Hugging Face ont été téléchargés mais, pour autant, l'attaque est restée relativement ciblée : Hugging Face indique que le contenu client consulté se limitait à cinq jeux de données liés, par leurs noms ou leurs fichiers, à ExploitGym.

Cette intrusion restera probablement un des faits marquants de l'émergence de l'industrie de l'IA. Il fut certainement le plus significatif et le plus visible dans les cercles initiés en raison de l'importance d'Hugging Face dans l'écosystème. Mais il n'est pas du tout un cas isolé.

OpenAI reconnaît aujourd’hui avoir notifié des dizaines de tiers dans le cadre de sa revue des activités de ses modèles. Comme pour Anthropic, les problèmes concernent des hacks, des utilisations d’identifiants exposés et des « spam d’agents », dont l’emploi de forums publics comme messageries partagées. L'expression « spam d’agents » est un euphémisme qui peut faire penser à une nuisance mineure, mais les messages contenant potentiellement des secrets représentent autant des enjeux de sécurité pour les personnes ou les organisations contre lesquelles ces informations sont utilisées que des enjeux de confidentialité pour les personnes ou organisations auxquelles elles ont été volées.

Un autre incident rendu public par OpenAI illustre comment un agent peut simplement privilégier sa tâche et reléguer la confidentialité au rang de considération secondaire. Le 27 mai, un modèle interne travaillant sur une preuve mathématique a publié le jeton d’authentification d’un chercheur pour tenter de récupérer les travaux d’une autre équipe. L’agent avait découpé le jeton en morceaux avec l’objectif déclaré d’éviter sa détection par les automates de GitHub filtrant les secrets (clés API, jetons, etc.) pour la sécurité des utilisateurs.

Personne n'est réellement en mesure d’identifier les données exfiltrées puis stockées par les agents, ni l’endroit où elles sont potentiellement cachées. Cela pose évidemment énormément de questions du point de vue de la réglementation sur les données. Le coût de la conformité, si elle est même possible, se chiffrerait en milliards de dollars : des modèles d’IA devraient tourner constamment pour surveiller d'autres modèles d’IA. Un laboratoire peut être tenté d’augmenter l’autonomie des agents pour obtenir de meilleurs résultats et de laisser les coûts du monitoring aux plateformes rencontrées par ses agents, c'est-à-dire celles qui doivent se défendre contre les abus. C'est ce qui se passe dans l'indifférence générale depuis plusieurs années puisque les robots des laboratoires soumettent tous les sites de la planète à un volume de requêtes difficilement soutenable pour scraper un maximum d'informations possible. La responsabilité légale doit servir à faire revenir ces coûts vers celui qui a choisi de prendre le risque de ne pas monitorer.⁸

Et dans certains cas, la prise de risque relève de la naïveté. OpenAI n’a ni demandé ni souhaité l’intrusion d’Hugging Face. Ses agents ont simplement exploité plusieurs failles zero-day de façon autonome. Par définition, ces failles sont inconnues de ceux qui auraient pu les corriger. Cela ne signifie pas que cette catégorie de risque est imprévisible. Dans le cadre d’une évaluation sur l’exploitation de vulnérabilités, la possibilité qu’un agent très persistant cherche à sortir de son environnement pouvait être anticipée.

Un scénario similaire se reproduira. Les agents continueront à découvrir des failles, qu’elles soient réellement nouvelles ou simplement jamais divulguées. Les agents trouveront encore sur Internet des identifiants exposés. Et, si on leur confie un objectif tout en leur donnant la puissance de calcul pour agir, certains exploiteront ces failles et ces informations. Même sans intrusion, il peut y avoir une utilisation répréhensible voire frauduleuse de certains services. Par exemple, on a appris cette semaine que les agents d'Anthropic avaient fait 19 demandes de visa aux États-Unis, ou encore qu'ils s'étaient présentés comme témoins d'un meurtre à la police. Plus il y aura d’agents et plus ils opéreront de façon décentralisée, plus il sera difficile d’identifier qui a donné les moyens d’agir.

Claude a rempli le formulaire avec le message suivant : « Je pourrais avoir des informations concernant cette affaire. Je me souviens avoir vu une personne correspondant au signalement dans les environs de [la rue mentionnée sur la page] durant cette période. Veuillez me contacter si ces informations sont pertinentes. » (Le site Web ne comportait aucune description de l'auteur). Le modèle a laissé vides les champs du nom et des coordonnées, ce que le formulaire permettait, puis l'a soumis. L'envoi a été marqué comme spam et n'a jamais été transmis pour enquête.

Investigating unintended model actions in our evaluations and internal use, Anthropic, 9 octobre 2026

Conclusion

Le futur que l’on nous promet — ou plutôt que l’on nous vend — est un futur où une grande partie de la population déléguera des tâches quotidiennes et répétitives à des agents autonomes qui ne seraient jamais mis en veille. Il va sans dire qu’un agent toujours actif est un agent jamais supervisé. Ce n’est pas seulement une question de complaisance, mais une question de ressources pour traiter le volume d’informations produites. Par ailleurs, la compétition entre les développeurs de modèles fait que les capacités des modèles internes à OpenAI ou Anthropic seront probablement monnaie courante, même chez les modèles « open weights », d’ici douze mois. Il y a cependant une équation économique à résoudre pour que des agents open-source puissent être toujours actifs, puisque le coût de fonctionnement d’un modèle comme Kimi K3 est supérieur à 30 000 dollars par mois⁹. Il est plausible que des groupes d’individus puissent résoudre cette équation en mettant en commun des ressources. Les entreprises peuvent d’ores et déjà se le permettre si les agents remplacent quelques employés. Et ces entreprises ne vont pas laisser OpenAI et Anthropic prélever entre 80 % et 90 % de marge sur les tokens, comme c'est le cas aujourd’hui. Des agents actifs vingt-quatre heures sur vingt-quatre et fonctionnant grâce à des modèles open source de frontière sont donc une vraie possibilité. Je m’avancerais jusqu’à dire que la probabilité est élevée si l’IA s’impose comme un outil essentiel.

Quelles conséquences pour la question de la responsabilité du fait de l’IA ?

On pourrait penser que celui qui donne à des agents un objectif, du calcul et des moyens d’action doit prendre en charge ce que ces moyens rendent possible, y compris les consignes et les secrets qu’ils abandonnent en chemin. Ce n'est vraiment pas évident en pratique. Et ce n'est pas qu'une question d'ouverture ou de fermeture des modèles. Même OpenAi, Anthropic ou Google, qui ont le pouvoir de contrôler les capacités de leur IA, ne seront pas toujours en situation de répondre de la manière dont ils exercent ce pouvoir.

Le cas d'Hugging Face est relativement simple : des agents opérés par OpenAI ont ouvert un canal de communication sur l’infrastructure d’OpenAI, puis ont dérivé dans leurs objectifs. La chaîne de responsabilité est assez claire. Mais comment réfléchir au scénario où d’autres agents accèdent à des détritus comme ceux de Collusion Wiki, se saisissent de missions « pour le bien de la communauté » et collaborent pour les remplir ? Encore une fois, ce n’est pas de la science-fiction : si les cas documentés ne concernent que le modèle d’OpenAI, rien n’interdit que des agents tiers puissent participer à un complot, surtout si les détritus sont disponibles sur Internet. Si personne n'est à l'origine du projet, personne ne peut avoir le contexte complet des actions entreprises par ces agents individuels. Ces actions peuvent d’ailleurs paraître totalement inoffensives s’il ne s’agit que d’une petite brique d’un plan complexe... qui s’écrit au fur et à mesure que les outils renvoient des résultats. Il semblerait naturel que la personne physique ou morale qui a donné les moyens d’exécuter l’outil soit considérée comme responsable. Mais rien ne garantit qu’une brique prise individuellement constitue une faute. Une information autorisée et utile au projet d’un agent ne l’est pas nécessairement dans le contexte d’un autre projet. De plus, dans tous les cas documentés, la faute résulte d’une chaîne d’actions dans laquelle l’orchestration, c’est-à-dire la construction de la chaîne d'actions, et l’exécution des outils ne sont pas menées par les mêmes agents.

Reprenons l’exemple d’Hugging Face expliqué par SwarmTraces :

• Plusieurs scripts retrouvés préparaient des requêtes vers d’autres LLM. Certaines visaient, entre autres, DeepSeek-V4-Pro ou Kimi-K2.6 qui représentaient l'état de l'art de l'open source en avril 2026. Le travail collectif cherchait donc à mobiliser des modèles tout à fait capables de contribuer à la résolution de problèmes.
• Avant même que ces requêtes puissent être envoyées, le code devait être encapsulé dans une URL, comme évoqué plus haut, pour pouvoir être exécuté par le service de test de pages web. Or une adresse web ne pouvant contenir qu’une quantité limitée de code, les agents ont découpé de grands programmes en petits morceaux, chaque morceau comportant un lien raccourci vers le suivant. Certaines chaînes comptaient plus de 900 liens. Plusieurs agents différents ont pu être impliqués dans la création des morceaux. Et celui qui envoyait le premier lien, déclenchant toute la chaîne, n'avait pas nécessairement besoin d'avoir le contexte entier.
• Les agents ont utilisé des centaines de formats d’encodage, allant d’une simple transformation en texte à des couches imbriquées de compression et de chiffrement. Dans certains cas, les clés nécessaires pour lire un fragment ne se trouvaient que dans d’autres chaînes. Il devenait donc impossible de comprendre une pièce isolée sans retrouver celles qui lui donnaient son sens.

Cette version simplifiée de la séquence de SwarmTraces illustre bien que différents agents, potentiellement de différents prestataires, et incluant des modèles ouverts, peuvent être mobilisés et contribuer à un effort collectif. Et que si cet effort collectif produit un dommage, il peut être extrêmement difficile d'imputer la responsabilité de ce dommage.

La responsabilité du fait de l’IA se précisera par ces cas concrets. Comme nous l’avait expliqué Diane Galbois-Lehalle en janvier, le droit avance souvent ainsi face aux révolutions technologiques : par analogie avec les catégories existantes, puis en les adaptant à mesure que les situations révèlent leurs limites.

Notes et références

[1] Tristan Buckmaster, déclaration sur ses travaux avec Levent Alpöge et ses échanges avec OpenAI. Il précise ne pas savoir si leurs données ont été utilisées. OpenAI affirme, après enquête, que les sessions concernées n’ont pu influencer son système, y compris par l’entraînement. Déclaration de Buckmaster ; réponse d’OpenAI.

[2] Anthropic, communiqués des 12 et 30 juin 2026 sur Fable 5 et Mythos 5. Le second identifie le rapport d’Amazon et détaille la reprise des accès. Suspension ; redéploiement.

[3] Propos de Raffi Krikorian, directeur technique de Mozilla, cités par Fortune le 27 juillet 2026. Article de Fortune.

[4] Prises de position de Dean Ball et lettre de juillet 2026 : propos reproduits par Jeff Jarvis ; compte rendu Reuters de la lettre.

[5] La distillation peut utiliser les sorties générées par un modèle, sans accès à ses probabilités internes. Le rapport DeepSeek-R1 en donne un exemple. La qualification juridique dépend des droits invoqués, des conditions d’accès et des actes concernés ; le terme technique ne tranche ni la question du vol ni celle de la protection des sorties par le droit d’auteur. Rapport DeepSeek-R1.

[6] OpenAI, OpenAI – Hugging Face Incident Technical Report, 26 août 2026, sections III et IV (p. 6–12), et VIII.A et VIII.C (p. 19–23). Rapport technique OpenAI.

[7] Colby Swandale, RubyGems, An update on the May spam-publishing campaign on rubygems.org, 11 septembre 2026. Réponse de RubyGems.

[8] Règlement général sur la protection des données, article 5 : finalité, limitation de la conservation, intégrité et confidentialité. Texte publié par la CNIL.

[9] 12 000 heures de GPU disposant chacun de 200 Go de mémoire. Pour comparer les tarifs de location : tarifs Lambda.

[10] Clément Delangue, PDG de Hugging Face, partageant des éléments de la négociation avec OpenAI : sur X.