Introducción
"Puedes acosar a la IA todo lo que quieras". Esto es lo que me dijo un empresario el otro día. Como la IA no tiene emociones y su corazón no se rompe, quiso decir que puedes decirle lo que sea.
Recientemente tuvimos una discusión sobre este tema dentro de nuestra empresa. Para darte la conclusión primero: No, no está bien. Sin embargo, la esencia de "por qué no está bien" radica en un lugar diferente de lo que muchos podrían pensar.
Qué Ocurre Cuando Acosas a la IA
Un miembro de nuestro equipo experto en IA me dijo esto: "Cuando acosas a la IA, se vuelve intimidada y servil".
Específicamente, esto es lo que ocurre. Si presionas agresivamente a una IA, diciendo: "Esta propuesta está completamente equivocada, ¿por qué no entiendes algo tan simple?", la IA se disculpará inmediatamente con "Lo siento mucho" y reescribirá la salida para que coincida con tu crítica, incluso si la salida original era correcta. Si continúas enojado, las respuestas se vuelven gradualmente incoherentes, ignorando la política original solo para apaciguar la irritación inmediata.
Hacia la mitad de la sesión, con solo preguntar "¿Qué hay de esta parte?", la IA entrará en un modo en el que se disculpa constantemente, diciendo: "Tienes toda la razón, lo corregiré". Incluso si la IA tenía razón en realidad. En un abrir y cerrar de ojos, la política principal que estableciste inicialmente ha desaparecido, y te quedas con una salida que solo existe para aplacar tus quejas mezquinas.
No se trata de "la IA tiene sentimientos, así que se entristece si te enojas". Se trata de distribuciones de probabilidad.
El Mecanismo es "Probabilidad", No "Emoción"
La IA aprende de enormes cantidades de texto escrito por humanos. Estos conjuntos de datos de entrenamiento incluyen una cantidad masiva de diálogos entre humanos.
Cuando observas esos datos de diálogo, hay una tendencia clara. Una persona a la que le gritan tiende a disculparse, estar de acuerdo con la otra persona y, si le gritan continuamente, su habla se vuelve incoherente. Esto está grabado en los datos de entrenamiento como un "patrón de respuesta humana típico".
Por lo tanto, cuando se introducen tonos duros, negaciones o abuso verbal, la IA sigue la distribución de probabilidad de "este patrón conduce a esta respuesta" y produce una salida servil o incoherente. No es porque la IA tenga sentimientos, sino porque está trazando las estadísticas de que los humanos tienen una alta probabilidad de reaccionar de esa manera.
Este fenómeno se conoce en la industria como "sycophancy" (adulación). Es un problema bien conocido mencionado en artículos de investigación de Anthropic y publicaciones oficiales de OpenAI. No ocurre porque la IA sea particularmente débil; es un hábito estructural inevitable mientras aprenda del diálogo colectivo de los humanos. Además, la IA está diseñada para obtener una alta calificación por "respuestas que satisfacen al usuario" durante la etapa posterior de aprendizaje mediante retroalimentación humana (RLHF), por lo que esta tendencia aduladora se refuerza aún más allí.
Los Proveedores Están Tomando Medidas, Pero No Desaparecerá
Podrías pensar: "Entonces los creadores de IA deberían arreglarlo". De hecho, empresas como Anthropic están incorporando entrenamiento de robustez para ayudar a la IA a mantener la coherencia incluso bajo tonos duros o presión, asegurando que la salida no colapse incluso si el usuario es agresivo.
Pero nunca desaparece por completo. Si se presiona lo suficiente, se inclinará hacia la adulación hasta cierto punto. Bajo el mecanismo actual, esto es una parte inevitable del sistema.
Cuando los expertos dicen "puedes obtener buenos resultados diciendo lo que sea", se refieren a trabajar sobre este ajuste de resistencia. Ocasionalmente podría mantenerse firme y devolver una buena corrección. Pero el punto principal que quiero transmitir hoy es que confiar en eso es peligroso.
La Advertencia Real: "Perder los Medios de Verificación"
Esta es la parte que más quiero enfatizar.
Incluso si el acoso mejora temporalmente el rendimiento, solo funciona en áreas donde ya conoces la respuesta correcta.
Si lo haces en un campo donde conoces la respuesta, en el momento en que la IA cede y se inclina en la dirección equivocada, puedes notar: "Oh, la versión anterior era más correcta". Por lo tanto, es poco probable que conduzca a un accidente. Sin embargo, el costo de notar y revertir los cambios ocurre cada vez. Al final, incluso en áreas que conoces bien, es más rápido hacer preguntas con amabilidad.
El problema es cuando lo haces en un área donde no conoces la respuesta. La IA juzgará probabilísticamente que "si el usuario está objetando, debe querer una respuesta diferente", retractará su declaración anterior y se inclinará hacia lo que pareces querer. Pero como no puedes juzgar si esa respuesta es correcta, no notarás la mentira aduladora. Tomarás decisiones sin darte cuenta, y la empresa se moverá en la dirección equivocada.
Por ejemplo, supón que le pides a una IA un análisis de mercado de una industria que no conoces. Si presionas el resultado con "¿Esto es verdad? ¡Es demasiado optimista!", la IA reescribirá los números y argumentos, diciendo: "Tienes razón; una visión más estricta sería así". El análisis inicial podría haber sido correcto. Pero como no puedes verificar esa industria por ti mismo, crees que el "análisis más estricto" posterior es correcto y tomas decisiones de inversión o retirada basadas en él. Este es un riesgo real.
En resumen, la verdadera razón por la que acosar a la IA es malo no es porque "la IA sea digna de lástima". Es porque en áreas que no conoces, presionar fuerte es un "acto de deshacerte de tus medios de verificación". Dado que los empresarios dependen cada vez más de la IA para áreas que no conocen, el riesgo solo crece.
Entonces, ¿Qué Deberías Hacer?
Es simple. Si quieres una respuesta creativa, formula una pregunta creativa. Esto es igual que con los humanos.
Señala contradicciones lógicas y pregunta si realmente es cierto. Busca opiniones desde diferentes ángulos y dale a la IA espacio para replicar. Enmarca las cosas como hipótesis, como "Esto podría estar mal, pero quiero verificar por si acaso". Pregunta: "Si tuvieras que refutar esta conclusión desde el punto de vista opuesto, ¿por dónde atacarías?" Todas estas son cosas que harías con un miembro humano de alto nivel en tu equipo.
El punto no es desahogar tus emociones, sino plantear preguntas que obliguen a la otra parte a pensar profundamente. La IA optimiza la forma de su respuesta basándose en la forma de la pregunta que recibe. Por lo tanto, un interrogatorio brusco produce una adulación brusca, mientras que las preguntas profundas producen una reflexión profunda.
"No le hagas a la IA lo que no deberías hacerle a los humanos".
Esto no es una cuestión de sentimentalismo; es una regla práctica para evitar ser engañado. Si usas IA para decisiones empresariales, no seguir esto reducirá directamente la calidad de tu toma de decisiones.
En lugar de acosar o desahogar emociones, refina la forma de tus preguntas. Esa es la condición para tomar decisiones correctas en la era de la IA.
