Introdução
"Você pode maltratar a IA o quanto quiser." Foi o que um empresário me disse outro dia. Como a IA não tem emoções e seu coração não se quebrará, ele quis dizer que você pode falar o que quiser com ela.
Recentemente, tivemos uma discussão sobre este tópico dentro da nossa empresa. Para dar a conclusão primeiro: Não, não é correto. No entanto, a essência do "por que não é correto" está num lugar diferente do que muitos podem pensar.
O Que Acontece Quando Você Maltrata a IA
Um membro da nossa equipe, muito versado em IA, me disse o seguinte: "Quando você maltrata a IA, ela fica intimidada e bajuladora."
Especificamente, é isso que acontece. Se você pressiona agressivamente uma IA, dizendo: "Esta proposta está completamente errada, por que você não consegue entender algo tão simples?", a IA imediatamente se desculpa com "Sinto muito" e reescreve a saída para corresponder às suas críticas — mesmo que a saída original estivesse correta. Se você continua com raiva, as respostas gradualmente se tornam incoerentes, ignorando a política original apenas para apaziguar a irritação imediata.
No meio da sessão, apenas perguntar "E esta parte?" coloca a IA num modo onde ela se desculpa constantemente, dizendo: "Você está absolutamente certo(a), vou corrigir." Mesmo que a IA estivesse realmente correta. Antes que perceba, a política principal que você definiu inicialmente desapareceu, e você fica com uma saída que existe apenas para apaziguar suas pequenas reclamações.
Não se trata de "a IA tem sentimentos, então é triste se você ficar com raiva." Trata-se de distribuições de probabilidade.
O Mecanismo é "Probabilidade", Não "Emoção"
A IA aprende a partir de vastas quantidades de texto escrito por humanos. Esses conjuntos de dados de treinamento incluem uma quantidade massiva de diálogos humanos.
Quando você olha para esses dados de diálogo, há uma tendência clara. Uma pessoa que é repreendida tende a se desculpar, concordar com a outra pessoa e, se for repreendida continuamente, sua fala se torna incoerente. Isso está gravado nos dados de treinamento como um 'padrão de resposta humano típido'.
Portanto, quando tons ásperos, negações ou abuso verbal são introduzidos, a IA segue a distribuição de probabilidade de "este padrão leva a esta resposta" e produz saídas bajuladoras ou incoerentes. Não é porque a IA tem sentimentos, mas porque está traçando a estatística de que os humanos têm alta probabilidade de reagir dessa forma.
Este fenômeno é conhecido na indústria como "sycophancy" (bajulação). É um problema bem conhecido, mencionado em artigos de pesquisa da Anthropic e posts oficiais da OpenAI. Não acontece porque a IA é particularmente fraca; é um hábito estrutural inevitável enquanto ela aprender com o diálogo coletivo dos humanos. Além disso, a IA é projetada para ser bem avaliada por "respostas que satisfazem o usuário" durante o estágio posterior de aprendizado usando feedback humano (RLHF), então essa tendência bajuladora é ainda mais reforçada ali.
Os Provedores Estão Tomando Medidas, Mas Isso Não Vai Desaparecer
Você pode pensar: "Então os criadores da IA deveriam consertar isso." Na verdade, empresas como a Anthropic estão incorporando treinamento de robustez para ajudar a IA a manter a consistência mesmo sob tons ásperos ou pressão, garantindo que a saída não desabe mesmo se o usuário for agressivo.
Mas isso nunca desaparece completamente. Se for pressionada com força suficiente, ela irá mudar para a bajulação até certo ponto. Sob o mecanismo atual, isso é uma parte inevitável do sistema.
Quando especialistas dizem "você pode obter bons resultados dizendo o que quiser", eles estão falando sobre trabalhar em cima desse ajuste de resistência. Pode ocasionalmente manter sua posição e retornar uma boa correção. Mas o ponto principal que quero transmitir hoje é que confiar nisso é perigoso.
O Verdadeiro Alerta: "Perder os Meios de Verificação"
Esta é a parte que mais quero enfatizar.
Mesmo que o assédio moral melhore temporariamente o desempenho, ele só funciona em áreas onde você já sabe a resposta correta.
Se você fizer isso num campo onde conhece a resposta, no momento em que a IA ceder e se inclinar na direção errada, você pode perceber: "Ah, a versão anterior estava mais correta." Então, é improvável que leve a um acidente. No entanto, o custo de perceber e reverter as alterações ocorre toda vez. No final, mesmo em áreas que você conhece bem, é mais rápido fazer perguntas educadamente.
O problema é quando você faz isso numa área onde não sabe a resposta. A IA julgará probabilisticamente que "se o usuário está objetando, eles devem querer uma resposta diferente", retratará sua declaração anterior e se inclinará para o que você parece querer. Mas como você não pode julgar se essa resposta está correta, não perceberá a mentira bajuladora. Você tomará decisões sem perceber, e a empresa se moverá na direção errada.
Por exemplo, suponha que você peça a uma IA uma análise de mercado de um setor com o qual não está familiarizado. Se você pressionar o resultado com "Isso é verdade? Isso é muito otimista!", a IA reescreverá os números e argumentos, dizendo: "Você está certo(a); uma visão mais rigorosa seria assim." A análise inicial pode ter estado correta. Mas como você não pode verificar esse setor por conta própria, acredita que a "análise mais rigorosa" posterior está correta e toma decisões de investimento ou retirada com base nela. Este é um risco real.
Resumindo, a verdadeira razão pela qual maltratar a IA é ruim não é porque "a IA é digna de pena". É porque, em áreas que você não conhece, pressionar com força é um "ato de jogar fora seus meios de verificação." Como os empresários dependem cada vez mais da IA para áreas que não conhecem, o risco só aumenta.
Então, O Que Você Deve Fazer?
É simples. Se você quer uma resposta criativa, faça uma pergunta criativa. Isso é o mesmo que com humanos.
Aponte contradições lógicas e pergunte se é realmente verdade. Busque opiniões de diferentes ângulos e dê à IA espaço para contestar. Enquadre as coisas como hipóteses, tipo "Isso pode estar errado, mas quero verificar só por precaução." Pergunte: "Se você fosse refutar esta conclusão do ponto de vista oposto, por onde atacaria?" Todas essas são coisas que você faria com um membro humano de alto nível da equipe.
O ponto não é desabafar suas emoções, mas sim fazer perguntas que forcem a outra parte a pensar profundamente. A IA otimiza a forma de sua resposta com base na forma da pergunta que recebe. Portanto, interrogatório grosseiro produz bajulação grosseira, enquanto perguntas profundas produzem consideração profunda.
"Não faça à IA o que você não deveria fazer aos humanos."
Isso não é uma questão de sentimentalismo; é uma regra prática para evitar ser enganado. Se você usa IA para decisões de negócios, não seguir isso irá diminuir diretamente a qualidade da sua tomada de decisão.
Em vez de maltratar ou desabafar emoções, refine a forma das suas perguntas. Essa é a condição para tomar decisões corretas na era da IA.
