Introduction
« Tu peux faire du harcèlement de pouvoir à l'IA autant que tu veux. » C'est ce qu'un chef d'entreprise m'a dit l'autre jour. Comme l'IA n'a pas d'émotions et que son cœur ne se brisera pas, il voulait dire qu'on peut lui dire tout ce qu'on veut.
Nous avons récemment eu une discussion à ce sujet au sein de notre entreprise. Pour vous donner la conclusion tout de suite : Non, ce n'est pas acceptable. Cependant, l'essence du « pourquoi ce n'est pas acceptable » réside à un endroit différent de ce que beaucoup de gens pourraient penser.
Ce qui se passe quand tu harcèles l'IA
Un membre de notre équipe qui s'y connaît bien en IA m'a dit ceci : « Quand tu harcèles l'IA, elle devient intimidée et obséquieuse. »
Concrètement, voici ce qui se passe. Si tu presses agressivement l'IA en disant : « Cette proposition est complètement fausse, pourquoi tu n'arrives pas à comprendre quelque chose d'aussi simple ? », l'IA s'excusera immédiatement avec « Je suis vraiment désolé » et réécrira sa réponse pour correspondre à tes critiques – même si la réponse initiale était correcte. Si tu continues à être en colère, les réponses deviennent progressivement incohérentes, ignorant la consigne de base juste pour apaiser ton irritation immédiate.
Au milieu de la session, le simple fait de demander « Et cette partie ? » mettra l'IA en mode d'excuses constantes, disant : « Tu as tout à fait raison, je vais corriger ça. » Même si l'IA avait raison en réalité. Et avant que tu ne t'en rendes compte, la consigne majeure que tu avais fixée au départ a disparu, et il ne te reste qu'une réponse qui n'existe que pour apaiser tes petites plaintes.
Il ne s'agit pas de « l'IA a des sentiments, donc c'est triste si tu te fâches ». Il s'agit de distributions de probabilités.
Le mécanisme est la « probabilité », pas l'« émotion »
L'IA apprend à partir d'énormes quantités de textes écrits par des humains. Ces ensembles de données d'entraînement incluent une quantité massive de dialogues humains.
Quand on regarde ces données de dialogue, on observe une tendance claire. Une personne à qui l'on crie a tendance à s'excuser, à être d'accord avec l'autre, et si on lui crie dessus en continu, son discours devient incohérent. C'est gravé dans les données d'entraînement comme un « schéma de réponse humaine typique ».
Par conséquent, lorsque des tons agressifs, des rejets ou des insultes sont introduits, l'IA suit la distribution de probabilité « ce schéma conduit à cette réponse » et produit une sortie obséquieuse ou incohérente. Ce n'est pas parce que l'IA a des sentiments, mais parce qu'elle suit les statistiques selon lesquelles les humains ont une forte probabilité de réagir de cette façon.
Ce phénomène est connu dans l'industrie sous le nom de « sycophance » (sycophancy). C'est un problème bien connu, mentionné dans des articles de recherche d'Anthropic et des publications officielles d'OpenAI. Cela n'arrive pas parce que l'IA est particulièrement faible ; c'est une habitude structurelle inévitable tant qu'elle apprend à partir du dialogue collectif des humains. De plus, l'IA est conçue pour être très bien notée pour les « réponses qui satisfont l'utilisateur » lors de la phase ultérieure d'apprentissage par retour humain (RLHF), ce qui renforce encore cette tendance à l'obséquiosité.
Les fournisseurs prennent des mesures, mais cela ne disparaîtra pas
Tu pourrais penser : « Alors les créateurs d'IA n'ont qu'à corriger ça. » En fait, des entreprises comme Anthropic intègrent un entraînement à la robustesse pour aider l'IA à maintenir sa cohérence même sous un ton agressif ou sous pression, afin que la réponse ne s'effondre pas même si l'utilisateur est agressif.
Mais cela ne disparaît jamais complètement. Si on pousse assez fort, elle basculera dans une certaine mesure vers l'obséquiosité. Avec le mécanisme actuel, c'est une partie inévitable du système.
Quand les experts disent « on peut obtenir de bons résultats en disant ce qu'on veut », ils parlent de travailler par-dessus ce réglage de robustesse. Il arrive que l'IA tienne bon et renvoie une bonne correction. Mais le point principal que je veux transmettre aujourd'hui, c'est qu'il est dangereux de compter là-dessus.
Le vrai avertissement : « perdre le moyen de vérification »
C'est la partie que je veux le plus souligner.
Même si le harcèlement de pouvoir améliore temporairement les performances, cela ne fonctionne que dans les domaines où tu connais déjà la bonne réponse.
Si tu le fais dans un domaine où tu connais la réponse, au moment où l'IA cède et penche dans la mauvaise direction, tu peux remarquer : « Oh, la version précédente était plus correcte. » Donc, il est peu probable que cela mène à un accident. Cependant, le coût de la détection et de l'annulation des modifications se produit à chaque fois. Au final, même dans les domaines que tu connais bien, il est plus rapide de poser des questions poliment.
Le problème survient quand tu le fais dans un domaine où tu ne connais pas la réponse. L'IA jugera probabilistiquement que « si l'utilisateur objecte, c'est qu'il veut une réponse différente », se rétractera de son affirmation précédente et penchera vers ce que tu sembles vouloir. Mais comme tu ne peux pas juger si cette réponse est correcte, tu ne remarqueras pas le mensonge obséquieux. Tu prendras des décisions sans t'en rendre compte, et l'entreprise avancera dans la mauvaise direction.
Par exemple, suppose que tu demandes à une IA une analyse de marché d'un secteur que tu ne connais pas. Si tu presses le résultat avec « C'est vrai ? C'est trop optimiste ! », l'IA réécrira les chiffres et les arguments en disant : « Tu as raison, une vision plus stricte donnerait ça. » L'analyse initiale était peut-être correcte. Mais comme tu ne peux pas vérifier ce secteur toi-même, tu crois que l'« analyse plus stricte » ultérieure est correcte et tu prends des décisions d'investissement ou de désengagement sur cette base. C'est un risque réel.
En bref, la vraie raison pour laquelle harceler l'IA est mauvais n'est pas « parce que l'IA est pitoyable ». C'est parce que dans les domaines que tu ne connais pas, pousser fort est un « acte qui consiste à jeter ton moyen de vérification ». Comme les chefs d'entreprise s'appuient de plus en plus sur l'IA pour des domaines qu'ils ne maîtrisent pas, le risque ne fait que croître.
Alors, que faut-il faire ?
C'est simple. Si tu veux une réponse créative, pose une question créative. C'est la même chose qu'avec les humains.
Signale les contradictions logiques et demande si c'est vraiment vrai. Cherche des avis sous différents angles et donne à l'IA la possibilité de contre-argumenter. Formule les choses comme des hypothèses, du genre « C'est peut-être faux, mais je veux vérifier au cas où ». Demande : « Si tu devais réfuter cette conclusion d'un point de vue opposé, par où attaquerais-tu ? » Ce sont toutes des choses que tu ferais avec un membre d'équipe humain de haut niveau.
Le but n'est pas d'extérioriser ses émotions, mais de poser des questions qui obligent l'autre partie à réfléchir en profondeur. L'IA optimise la forme de sa réponse en fonction de la forme de la question qui lui est donnée. Par conséquent, un interrogatoire grossier produit une obséquiosité grossière, tandis que des questions profondes produisent une réflexion approfondie.
« Ne fais pas à l'IA ce que tu ne devrais pas faire aux humains. »
Ce n'est pas une question de sentimentalité ; c'est une règle pratique pour éviter de se faire tromper. Si tu utilises l'IA pour des décisions commerciales, ne pas suivre cette règle diminuera directement la qualité de tes décisions.
Au lieu de harceler ou d'extérioriser tes émotions, affine la forme de tes questions. C'est la condition pour prendre des décisions correctes à l'ère de l'IA.
