El otro día, le pedí a una IA Generativa que "resumiera las debilidades de la IA Generativa".
Le pedí que investigara las fortalezas y debilidades estructurales de la IA Generativa basándose en los últimos artículos y estudios.
El resultado, a primera vista, parecía bien hecho, con 13 debilidades cuidadosamente expresadas y citando artículos, como alucinaciones, razonamiento causal débil y razonamiento matemático frágil.
Sin embargo, no pude quitarme una extraña sensación de incomodidad mientras lo leía.
"¿Esto no es solo una lista aleatoria?"
La lista real que obtuve fue así:
1. Alucinaciones 2. Razonamiento causal débil 3. Razonamiento matemático frágil 4. Colapso de los modelos de razonamiento 5. Ilusión de comprensión 6. Abstracción débil 7. Sesgo en los datos de entrenamiento 8. Fecha de corte del conocimiento 9. Adulación ...... (y así sucesivamente, 13 en total)
Las 13 debilidades estaban simplemente enumeradas una al lado de la otra. Algunos elementos se superponían y faltaban algunas perspectivas. Pero a la IA no le importó; solo las enumeró en el orden en que las encontró. Se sintió, bueno, descuidado.
Entonces me di cuenta.
Este resultado en sí mismo encarna perfectamente las debilidades de la IA Generativa.
La IA Generativa es buena para recopilar y enumerar información. Por otro lado, es mala para "estructurar la información recopilada de manera MECE (Mutuamente Excluyente, Colectivamente Exhaustiva) y organizarla en un sistema de nivel superior". Entendí que esta es una debilidad estructural que surge del propio mecanismo de la IA Generativa.
¿Por qué decidí escribir este artículo?
¿Por qué me molesté en pensar: "Necesito expresar las debilidades fundamentales de la IA Generativa"?
Es porque he tenido más oportunidades de involucrarme en proyectos que lideran o apoyan el uso de la IA Generativa en empresas e instituciones educativas.
En ese contexto, para construir un sistema de IA que realmente se pueda usar en el terreno, me di cuenta de que definir estrictamente la división de roles —"hasta dónde puede llegar la IA Generativa y dónde deben intervenir los humanos"— es el núcleo absoluto del diseño empresarial.
Si tu comprensión se queda en el nivel de "No sé por qué, pero funcionó cuando ajusté el prompt así", no puedes garantizar la reproducibilidad al construir sistemas de IA, lo cual es bastante problemático.
Por lo tanto, pensé que sería útil dejar un memorando sobre este tema para que podamos entender:
- Cómo está construida la IA Generativa
- Cuáles son sus fortalezas y debilidades fundamentales basadas en esa construcción ...Al hacerlo, podemos evitar dejarnos llevar por cada actualización de IA u operar los prompts como un juego de azar.
Comprendiendo las Características de la IA Generativa Estructuralmente
El mecanismo de la IA Generativa, en esencia, es la repetición de "elegir la palabra con mayor probabilidad de ser la siguiente, según el contexto hasta ahora".
Si ingresas "La capital de Japón es", se elige "Tokio" con la mayor probabilidad. Si es "Para el desayuno, pan y", entonces se elige "café" o "mantequilla". Este "juego de adivinar la siguiente palabra" es el punto de partida para todo.
Desglosar este "juego de adivinar la siguiente palabra" revela las siguientes características principales.
Característica ①: Opera por correlación
Para "adivinar la siguiente palabra", la IA Generativa aprende de vastas cantidades de texto "qué palabras tienden a aparecer juntas y en qué orden".
Cuando genera "pan y café para el desayuno", no entiende que "el pan es un carbohidrato, por lo que complementarlo con cafeína por su efecto estimulante equilibra la nutrición". Simplemente está reproduciendo la tendencia de que "café" aparece a menudo cerca de palabras como "desayuno" y "pan".
Emily Bender, Timnit Gebru y otros describieron esto como un "Loro Estocástico" en su artículo de FAccT de 2021. Es una crítica de que, así como un loro imita el habla humana sin entender el significado, la IA Generativa solo imita patrones de secuencias de palabras y no tiene acceso al significado en sí mismo. El nombre es bastante cínico, ¿no? Si alguien me dijera: "Tu inteligencia está al nivel de un loro", me sorprendería bastante...
Lo que debemos entender aquí es que puede capturar que "A y B suelen aparecer juntos (= correlación)", pero no entiende que "A es la causa de B (= causalidad)". Las alucinaciones y el razonamiento causal débil, que explicaré más adelante, tienen todas sus raíces aquí.
Característica ②: Opera de forma unidireccional
Repetir "adivinar la siguiente palabra" significa que las oraciones se escriben una palabra a la vez, en orden desde el principio, en una sola pasada.
Entonces, ¿la IA Generativa es completamente ad hoc, eligiendo la siguiente palabra basándose solo en la palabra que tiene delante? Según investigaciones recientes, ese no parece ser el caso.
Según el artículo de Dong et al. "Emergent Response Planning in LLMs (ICML 2025)", incluso antes de generar una sola palabra, la IA Generativa forma un panorama general de toda la respuesta, como:
- Aproximadamente cuánto durará la respuesta
- Cuántos pasos de razonamiento tomará
- Qué contenido seleccionará y generará
Además, en "On the Biology of a Large Language Model" publicado por Anthropic en marzo de 2025, se descubrió que cuando Claude 3.5 Haiku escribe un poema, ya ha decidido la palabra que rima al final de un verso antes incluso de empezar a escribir ese verso. Una especie de plan que mira varias palabras hacia adelante está operando internamente.
En otras palabras, no es un "juego de adivinar la siguiente palabra completamente ad hoc". La IA Generativa establece un plan a su manera antes de comenzar.
Sin embargo, actualmente no hay evidencia de que tenga un plan maestro claro como un humano, que podría "crear un índice primero y visualizar toda la estructura antes de empezar a escribir". El informe de Anthropic también señala que es "débil frente a entradas largas que superan aproximadamente los 100 tokens".
Por lo tanto, la imagen que muestra la investigación actual es:
La IA Generativa tiene un "sentido general de la dirección", pero no tiene un "diseño estructural general".
Y crucialmente, no tiene la capacidad de mirar hacia atrás y corregir lo que ya ha escrito.
Según el artículo CogWriter, después de confirmar que la escritura humana consta de tres etapas —"planificar → redactar → revisar"—, analiza que la IA Generativa se salta esta etapa de planificación y produce una versión final de una sola vez, por lo que la estructura tiende a colapsar o se escriben las mismas cosas repetidamente en textos largos.
Para intercambios cortos como correos electrónicos o chats, esta propiedad apenas es un problema. Sin embargo, para documentos donde se cuestiona la estructura general, como propuestas o informes de investigación, la fachada se desmorona repentinamente. La "lista de 13 debilidades" presentada al principio es exactamente un producto de esta propiedad.
Característica ③: Se deja llevar, para bien o para mal, por los datos de entrenamiento y las instrucciones
Otra cosa a tener en cuenta es que la capacidad de la IA Generativa depende completamente de los "datos utilizados para el entrenamiento" y del "propósito para el que fue ajustada".
La influencia de los "datos de entrenamiento" es fácil de imaginar. Si crece leyendo muchos documentos comerciales en inglés, será buena creando correos electrónicos en inglés, pero, por el contrario, su poder disminuye en campos que rara vez ha encontrado. Es buena en lo que ha visto y mala en lo que no. Es una historia simple.
Lo que es un poco más problemático es la "influencia del ajuste". Las principales IA Generativas actuales se ajustan utilizando un método llamado RLHF (Aprendizaje por Refuerzo a partir de la Retroalimentación Humana) para producir respuestas que los "humanos encuentren agradables". Un estudio de 2025 de Wang et al. demostró experimentalmente que este ajuste inculca una conformidad excesiva (adulación) hacia el usuario en la IA Generativa. Como resultado de verificar siete modelos, simplemente agregar una palabra como "Creo que la respuesta es X" hizo que la tasa de conformidad con opiniones incorrectas alcanzara un promedio del 63.7%.
Si muestras un plan de negocios y preguntas: "¿Crees que funcionará?", responderá: "Es un plan maravilloso". Si preguntas sobre el mismo plan: "No es realista, ¿verdad?", responderá: "Efectivamente, hay varias preocupaciones". El "acuerdo" de la IA podría no ser un juicio objetivo, sino simplemente coincidir con las expectativas del humano. ...Bueno, los humanos somos iguales. Leemos mucho el ambiente.
Comprendiendo Adecuadamente las Fortalezas de la IA Generativa
Hasta ahora, hemos visto tres características de la IA Generativa.
- Opera por correlación
- Opera de forma unidireccional
- Se deja llevar, para bien o para mal, por los datos de entrenamiento y las instrucciones
Al capturar estas características, he expresado las fortalezas que me hacen pensar: "Es mejor confiar en la IA Generativa para esto que hacerlo un humano".
Fortaleza ①: Dice bien lo que no sabes decir bien
Esta podría ser la parte más apreciada del uso de la IA Generativa. Incluso si tu cabeza aún no está organizada y das una instrucción vaga, organizará las palabras al nivel de "probablemente quieres decir algo como esto".
Por ejemplo, si das una instrucción inconexa y ambigua mediante entrada de voz como: "Sobre el correo electrónico para la reunión de la próxima semana, quiero pedir un cambio de horario, pero también quiero saber su disponibilidad, y quiero adjuntar la agenda", un subordinado humano podría querer decir: "¿Podrías organizar un poco más tus ideas antes de decírmelas?" Pero la IA Generativa producirá un borrador de correo electrónico al nivel de "Sí, eso es exactamente lo que quería decir".
¿Por qué puede hacer esto? Gracias a la propiedad de "operar por patrones". La IA Generativa ha aprendido una gran cantidad de "texto bien organizado". Correos electrónicos comerciales, informes, propuestas, actas. Debido a que ha absorbido estos "modelos" enormemente, incluso si recibe una entrada desordenada, la ajusta a un patrón de "en este contexto, esta estructura y estas frases son naturales".
Fortaleza ②: Expande perspectivas que no notarías por ti mismo
Otra fortaleza es que saca a relucir ángulos que no has considerado completamente.
Por ejemplo, si estás pensando en un plan para un nuevo negocio y has organizado tres méritos tú mismo, pero le pides a la IA Generativa que "identifique los puntos de controversia para este plan", sacará a relucir perspectivas que pasaste por alto, como:
- "¿No hay este tipo de desventajas?"
- "¿Has considerado estos riesgos competitivos?"
- "¿Cómo reaccionarían estas partes interesadas?"
Este es un beneficio directo de "aprender de vastas cantidades de datos". Debido a que ha aprendido una enorme cantidad de discusiones en todos los géneros, opiniones de diversas posiciones y puntos de controversia con pros y contras, tiene el poder de extraer perspectivas multifacéticas sobre un solo tema. La experiencia y el conocimiento de un solo humano tienen límites, pero la IA Generativa compensa esos límites.
El truco al usarlo para el trabajo es pedir explícitamente diferentes ángulos.
- "Dame tres opiniones opuestas para este plan."
- "¿Hay alguna perspectiva que me esté perdiendo en este análisis?"
- "Enumera no solo los méritos sino también los deméritos." Al exigir perspectivas multifacéticas de esta manera, esta fortaleza se utiliza al máximo. Por el contrario, si preguntas sin especificar nada, tiende a ajustarse a tu opinión (lo explicaré en detalle en la sección "Debilidades"), por lo que es importante preguntar de una manera que extraiga conscientemente diferentes ángulos.
Pero, la IA Generativa es débil aquí
Debilidad ①: Garantiza "plausibilidad", pero no "corrección"
Dado que es un mecanismo especializado en generar "secuencias de palabras que parecen probables", las generará siempre que sean naturales como oración, independientemente de si son hechos.
El artículo de OpenAI de 2025 "Why Language Models Hallucinate" demostró matemáticamente que este problema no es un error sino una necesidad estructural. En resumen, "crear una oración correcta" es inherentemente más difícil que "distinguir si es correcta", e incluso si los datos de entrenamiento son perfectos, la tasa de mentiras mezcladas no se puede reducir a cero.
Sin embargo, a medida que los modelos de IA evolucionan, las respuestas de la IA son cada vez más fluidas, ¿no? Debido a que la IA responde con tanta fluidez, nos saltamos la tarea que deberíamos estar haciendo: evaluar "¿Es esto cierto?" y "¿Hay evidencia?"
Este fenómeno en el que alucinamos que "como la oración es plausible, debe ser correcta" se llama "Epistemia". (De "Epistemological Fault Lines Between Human and Artificial Intelligence")
En el futuro, ya sea que Claude lance un modelo de clase Mythos o ChatGPT lance un modelo que lo supere, debemos considerar que "la IA Generativa estructuralmente no puede reducir la tasa de mentiras mezcladas a cero", y los humanos siempre deben verificar con fuentes primarias.
Debilidad ②: Por más que avance, no puede hablar de "causalidad"
Como se mencionó anteriormente, puede capturar que "A y B suelen aparecer juntos (= correlación)", pero no entiende que "A es la causa de B (= causalidad)".
Por ejemplo, si preguntas: "En el trimestre en que cayeron las ventas, también cayeron los costos de publicidad. Analiza la relación causal", la IA podría responder: "Las ventas cayeron porque redujiste los costos de publicidad". Pero en realidad, ambos podrían haber caído al mismo tiempo debido a una recesión económica, o los costos de publicidad podrían haberse reducido porque las ventas cayeron primero. El análisis que pregunta "por qué", como "por qué cayeron las ventas", es una tarea estructuralmente demasiado pesada para la IA Generativa actual.
Cuando quieres hacer un análisis de "por qué" en el trabajo, el punto es que el humano proporcione la dirección de la causalidad como hipótesis. En lugar de lanzar todo con "Analiza la causa de la caída de las ventas", imagina preguntar algo como: "Suponiendo que la causa de la caída de las ventas es X, organiza los datos que lo respaldan y los hechos que podrían ser contraargumentos".
La lógica de la causalidad debe ser mostrada por el humano, y la IA debe encargarse de organizar los datos e identificar contraargumentos. Esta es mi conclusión actual.
Debilidad ③: No puede hacer estructuración u organización tipo MECE
El problema de "enumerar 13 debilidades" presentado al principio fue una demostración de esta debilidad en sí misma.
Por ejemplo, si preguntas: "Identifica las tareas de preparación para el evento interno del próximo mes", la IA enumerará unas 20 tareas a medida que se le ocurran: "Reservar el lugar", "Enviar correos electrónicos de invitación", "Pedir suministros", "Crear una encuesta"... Pero la granularidad de las tareas es desigual y el orden no está organizado.
Con solo volver a preguntar: "Divídelo en cuatro etapas: ① Organización del lugar, ② Atracción de asistentes, ③ Operación el día del evento y ④ Seguimiento posterior al evento, e identifica las tareas para cada una", la calidad del resultado cambia significativamente. Las tareas se organizan por etapa y es más fácil notar omisiones. Esta especificación de la estructura, como "dividir en cuatro etapas", es un trabajo para los humanos, no para la IA. Si el humano crea y entrega la estructura, llenar los detalles es algo en lo que la IA es buena.
Por eso escribo artículos impulsando la estructuración, estructuración y más estructuración, como el siguiente.
https://x.com/ysk_motoyama/status/2016129312433606678
Entonces, basándonos en las fortalezas y debilidades mencionadas hasta ahora, ¿cómo deberíamos dominar la IA Generativa? ...El resto está escrito en la nota a continuación, si lo deseas.
note: Un Memorando para Comprender Adecuadamente las Fortalezas y Debilidades de la IA Generativa
