Cette pésentation de l'article de Michel Berry Une technologie invisible - L’impact des instruments de gestion sur l’évolution des systèmes humains, est publiée ici dans le cadre du partenariat entre PITTI et l'Institut Présaje - Michel Rouger. Un parallèle y est établi entre la mise en place des instruments de gestion au milieu des années 1980 et le déploiement des agents d'intelligence artificielle au milieu des années 2020. Lors d'une discussion en mars 2025, Michel Berry a évoqué l'histoire de cet article, rappelant que personne n'a voulu le publier à l'époque, et que les citations n'ont commencé à s'accumuler que relativement récemment. Ce fut l'occasion de discuter d'une autre technologie invisible, le système de citation, pour le monde de la recherche.
Ce document de 1983 analyse l'impact des instruments de gestion, que Michel Berry qualifie de "technologie invisible", sur le fonctionnement réel des organisations. Loin d'être des auxiliaires neutres, ces outils structurent les comportements, créent des logiques propres et engendrent des effets parfois contraires aux intentions initiales. La thèse centrale est que, bien souvent, "l'intendance commande" : les mécanismes et les outils en place finissent par dicter la stratégie, au détriment de la volonté affichée des dirigeants. Cette analyse offre un cadre conceptuel utile pour anticiper les difficultés liées au déploiement des systèmes d'IA actuels.
Le Pressentiment de La Loi de Goodhart : Le Comportement Induit par la Mesure
Berry décrit un mécanisme fondamental, illustré par l'étude de cas d'un service achats, qui est une parfaite démonstration de la Loi de Goodhart ("Quand une mesure devient un objectif, elle cesse d'être une bonne mesure").
Les acheteurs sont jugés sur un seul indicateur : la dérive des prix des pièces existantes. Pour atteindre leur objectif, ils développent un comportement "localement rationnel" mais globalement absurde. Ils acceptent de payer très cher les nouvelles pièces (non mesurées) pour obtenir des hausses minimes sur les pièces anciennes (mesurées).
Ils atteignent brillamment leurs objectifs mesurés, mais au prix d'un surcoût global. Le système de gestion ne mesure pas la performance réelle mais un proxy qui, une fois érigé en objectif, incite à des comportements pervers.
Écho avec l'IA : C'est le risque majeur d'un agent d'IA optimisant une fonction-objectif (KPI) mal définie. Programmé pour minimiser les délais de livraison, il pourrait passer des commandes à des coûts exorbitants. L'agent n'effectue pas d'"acrobaties" comme les humains de Berry ; il optimise de manière littérale et implacable une métrique, avec des conséquences potentiellement bien plus graves. Ceci renvoie à une expérience récente de la société Anthropic.
De l'Outil à la Machine de Gestion : La Perte de Flexibilité et d'Intelligibilité
Berry reprend la distinction de Marx popularisée en gestion par Jacques Girin :
- L'Outil : Maîtrisé par l'utilisateur, il est flexible et prolonge la compétence humaine.
- La Machine : Elle impose son rythme et sa logique. L'humain devient son serviteur, chargé de l'alimenter en données standardisées. Elle est rigide, coûteuse à modifier, et son fonctionnement interne est souvent opaque.
Écho avec l'IA : Les techniciens (développeurs d'IA) conçoivent leur technologie comme un outil puissant, mais les utilisateurs finaux la vivent comme une machine rigide. Ce fossé de communication est une source majeure de friction. Le déploiement d'une "machine de gestion" IA est un processus long qui fige l'organisation, rendant toute modification ultérieure lourde et risquée.
Rationalités Locales et Frontières Organisationnelles : l'Angle Mort de l'IA
Berry réfute l'idée d'une rationalité universelle au sein de l'entreprise. L'organisation est un ensemble de rationalités partielles et concurrentes.
Chaque département (commercial, production, financier) a ses propres objectifs et contraintes, et développe une "rationalité locale" qui est sensée de son point de vue. Le commercial veut promettre des délais courts, la production veut des plannings stables, le financier veut réduire les stocks. Ces logiques sont intrinsèquement contradictoires.
Le bon fonctionnement de l'ensemble ne dépend pas d'une optimisation globale (qui est impossible) mais de la capacité des acteurs à négocier des compromis aux "frontières" entre leurs unités. C'est là que le "slack organisationnel" (flou sur l'information, excédent de moyens, stocks tampons, budgets non alloués, opacité sur certaines pratiques ...) est utilisé comme monnaie d'échange pour absorber les frictions.
Le Risque de l'Automatisation : les projets de rationalisation (et aujourd'hui, d'IA) visent précisément à éliminer ce "gaspillage" apparent. En faisant cela, ils rendent les contradictions explosives. Un système rendu rigide par l'automatisation optimale ne peut plus absorber les aléas et devient infiniment plus fragile et cassant face à l'imprévu.
Écho avec l'IA : Un agent d'IA, programmé pour optimiser une fonction locale, est aveugle à cette économie informelle. La notion de confiance réciproque, socle de ces négociations, étant difficile à établir avec une IA, son intégration à ces "frontières" cruciales semble aujourd'hui impossible. Pour des raisons techniques et conceptuelles, on ne peut pas miser sur le fait qu'un agent d'IA rende la pareille, que ce soit pour une bonne ou une mauvaise raison. L'agent d'IA met donc en péril les fondations des compromis et des "traités de paix" qui permettent à l'organisation de fonctionner.
Urgence et Inertie Culturelle : le Système Immunitaire Ignoré des Développeurs
Berry identifie la culture comme "l'ensemble des évidences qui s'imposent sans même qu'elles soient nécessairement explicitées".
Réflexes contre Réflexion : la culture opère via des "réflexes" collectifs. Elle agit comme un système de sécurité implicite et puissant : ces réflexes sont les garde-fous qui empêchent l'organisation de dérailler face à l'aléa. Mais cette culture contribue aussi à l'inertie du système ; elle est à double tranchant.
L'empire de l'urgence : la dépendance aux réflexes est amplifiée par la pression temporelle. Comme le note Berry : "Plus un choix est rapide, plus il est prévisible car il se fonde sur des instruments plus accessibles et des idées plus communément admises." L'urgence force à utiliser les modèles par défaut : la culture pour les humains, et le cœur de l'algorithme pour une IA, excluant toute solution créative.
Écho avec l'IA : C'est un obstacle majeur. Les développeurs, focalisés sur la logique explicite, ignorent cette couche culturelle, essentielle aux négociations informelles. Un agent d'IA peut court-circuiter le "système immunitaire" de l'organisation pour permettre le changement, mais tant qu'il sera dépourvu de "bon sens" organisationnel, il exécutera les instructions littéralement, même si elles sont manifestement contre-productives.
La Délégation au Système et "l'Illusion d'Optique" des Dirigeants
Berry explique pourquoi les dirigeants, paradoxalement, perdent la maîtrise du système.
Les dirigeants gèrent les crises et les exceptions. Leur agenda est rempli par ce qui ne fonctionne pas dans le système normal. Cela crée une "illusion d'optique" : ils croient piloter l'ensemble, alors qu'ils ne gèrent que les perturbations d'une machine dont la logique leur échappe. Ils se fient aux indicateurs agrégés, ignorant les réalités du terrain que ces mêmes systèmes masquent.
Écho avec l'IA : La tentation est immense pour un dirigeant de déléguer la gestion courante à une IA pour se concentrer sur la "stratégie". Ce faisant, il risque de se couper des signaux faibles et de l'information qualitative que seuls les humains perçoivent. Le tableau de bord de l'IA présentera une réalité lissée, cachant les fragilités jusqu'à ce qu'elles deviennent une crise.
Conclusion
L'article visonnaire de Michel Berry nous avertit que le plus grand danger de l'IA n'est pas sa malveillance, mais notre propre naïveté. En la déployant sans discernement, nous risquons de construire des "machines de gestion" parfaitement rationnelles, mais profondément inintelligentes, qui nous rendront aveugles aux réalités qu'elles sont censées nous aider à maîtriser.
La rédaction de cette analyse a fait appel à l'assistance d'un modèle d'intelligence artificielle (Gemini 2.5 Pro).