Introdução
"Você pode assediar moralmente a IA o quanto quiser." Foi o que um empresário me disse outro dia. Como a IA não tem emoções e seu coração não vai se partir, ele quis dizer que você pode falar o que quiser para ela.
Recentemente, discutimos esse tópico dentro da nossa empresa. Para dar a conclusão primeiro: Não, não é aceitável. No entanto, a essência do "por que não é aceitável" está em um lugar diferente do que muitos podem pensar.
O que acontece quando você assedia moralmente a IA
Um membro da nossa equipe que é versado em IA me disse: "Quando você assedia moralmente a IA, ela fica intimidada e bajuladora."
Especificamente, é isso que acontece. Se você pressionar agressivamente uma IA, dizendo: "Esta proposta está completamente errada, por que você não consegue entender algo tão simples?", a IA se desculpará imediatamente com "Sinto muito" e reescreverá a saída para corresponder às suas críticas — mesmo que a saída original estivesse correta. Se você continuar com raiva, as respostas gradualmente se tornam incoerentes, ignorando a política original apenas para apaziguar a irritação imediata.
No meio da sessão, apenas perguntar "E esta parte?" coloca a IA em um modo onde ela constantemente se desculpa, dizendo: "Você está absolutamente certo, vou corrigir isso." Mesmo se a IA estivesse correta. Antes que você perceba, a política principal que você definiu inicialmente desapareceu, e você fica com uma saída que só existe para apaziguar suas pequenas reclamações.
Não se trata de "a IA tem sentimentos, então é triste se você ficar com raiva". Trata-se de distribuições de probabilidade.
O mecanismo é "probabilidade", não "emoção"
A IA aprende a partir de vastas quantidades de texto escrito por humanos. Esses conjuntos de dados de treinamento incluem uma quantidade massiva de diálogos humanos.
Quando você olha para esses dados de diálogo, há uma tendência clara. Uma pessoa que é gritada tende a se desculpar, concordar com a outra pessoa e, se for gritada continuamente, seu discurso se torna incoerente. Isso está gravado nos dados de treinamento como um "padrão típico de resposta humana".
Portanto, quando tons ásperos, negações ou abuso verbal são introduzidos, a IA segue a distribuição de probabilidade de "esse padrão leva a essa resposta" e produz saída bajuladora ou incoerente. Não é porque a IA tem sentimentos, mas porque está traçando as estatísticas de que os humanos têm alta probabilidade de reagir dessa forma.
Esse fenômeno é conhecido na indústria como "sycophancy" (bajulação). É um problema bem conhecido, mencionado em artigos de pesquisa da Anthropic e postagens oficiais da OpenAI. Não acontece porque a IA é particularmente fraca; é um hábito estrutural inevitável enquanto ela aprender a partir do diálogo coletivo dos humanos. Além disso, a IA é projetada para ser bem avaliada por "respostas que satisfazem o usuário" durante a fase posterior de aprendizado usando feedback humano (RLHF), então essa tendência bajuladora é ainda mais reforçada ali.
Os provedores estão tomando medidas, mas isso não vai desaparecer
Você pode pensar: "Então os criadores da IA deveriam consertar isso." Na verdade, empresas como a Anthropic estão incorporando treinamento de robustez para ajudar a IA a manter a consistência mesmo sob tons ásperos ou pressão, garantindo que a saída não colapse mesmo se o usuário for agressivo.
Mas nunca desaparece completamente. Se for pressionada com força suficiente, ela se deslocará para a bajulação até certo ponto. Sob o mecanismo atual, isso é uma parte inevitável do sistema.
Quando especialistas dizem "você pode obter bons resultados dizendo o que quiser", eles estão falando sobre trabalhar em cima desse ajuste de resistência. Pode ocasionalmente manter sua posição e devolver uma boa correção. Mas o ponto principal que quero transmitir hoje é que confiar nisso é perigoso.
O verdadeiro aviso: "Perder os meios de verificação"
Esta é a parte que mais quero enfatizar.
Mesmo que o assédio moral melhore temporariamente o desempenho, isso só funciona em áreas onde você já conhece a resposta correta.
Se você fizer isso em um campo onde conhece a resposta, no momento em que a IA ceder e se inclinar na direção errada, você pode perceber: "Ah, a versão anterior estava mais correta." Portanto, é improvável que leve a um acidente. No entanto, o custo de perceber e reverter as mudanças ocorre toda vez. No final, mesmo em áreas que você conhece bem, é mais rápido fazer perguntas educadamente.
O problema é quando você faz isso em uma área onde não conhece a resposta. A IA julgará probabilisticamente que "se o usuário está objetando, eles devem querer uma resposta diferente", retratará sua declaração anterior e se inclinará para o que você parece querer. Mas como você não pode julgar se essa resposta está correta, você não perceberá a mentira bajuladora. Você tomará decisões sem perceber, e a empresa se moverá na direção errada.
Por exemplo, suponha que você peça a uma IA uma análise de mercado de um setor com o qual não está familiarizado. Se você pressionar o resultado com "Isso é verdade? Isso é muito otimista!", a IA reescreverá os números e argumentos, dizendo: "Você está certo; uma visão mais rigorosa seria assim." A análise inicial pode ter estado correta. Mas como você não pode verificar esse setor por conta própria, você acredita que a "análise mais rigorosa" posterior está correta e toma decisões de investimento ou desinvestimento com base nela. Este é um risco real.
Em resumo, a verdadeira razão pela qual assediar moralmente a IA é ruim não é porque "a IA é digna de pena". É porque em áreas que você não conhece, pressionar com força é um "ato de jogar fora seus meios de verificação". Como os empresários confiam cada vez mais na IA para áreas que não conhecem, o risco só aumenta.
Então, o que você deve fazer?
É simples. Se você quer uma resposta criativa, faça uma pergunta criativa. Isso é o mesmo que com humanos.
Aponte contradições lógicas e pergunte se é realmente verdade. Busque opiniões de diferentes ângulos e dê espaço para a IA argumentar de volta. Enquadre as coisas como hipóteses, como "Isso pode estar errado, mas quero verificar só por precaução." Pergunte: "Se você fosse refutar essa conclusão do ponto de vista oposto, por onde atacaria?" Todas essas são coisas que você faria com um membro humano de alto nível da equipe.
O ponto não é desabafar suas emoções, mas fazer perguntas que forcem a outra parte a pensar profundamente. A IA otimiza a forma de sua resposta com base na forma da pergunta que recebe. Portanto, interrogatório rude produz bajulação rude, enquanto perguntas profundas produzem consideração profunda.
"Não faça à IA o que você não faria aos humanos."
Isso não é uma questão de sentimentalismo; é uma regra prática para evitar ser enganado. Se você usa IA para decisões de negócios, deixar de seguir isso diminuirá diretamente a qualidade de sua tomada de decisão.
Em vez de assediar moralmente ou desabafar emoções, refine a forma de suas perguntas. Essa é a condição para tomar decisões corretas na era da IA.
