Así que quieres hacer investigación en IA? Es cierto que nadie realmente te enseña cómo. No directamente, al menos. Pero resulta que la forma de empezar es bastante simple: alguna combinación de (i) leer y (ii) construir cosas. No puedes hacer una sin la otra. Te conviertes en investigador a través de la combinación.
Resulta que el proceso de convertirse en un gran investigador no es muy diferente a aprender a meditar:
I.
Hay un viejo dicho zen que dice algo así como:
*en los días que encontramos conocimiento, nos sentamos. en los días que no encontramos conocimiento, nos sentamos.*
Hacer investigación es básicamente así. Los conocimientos científicos pueden llegar aparentemente al azar. La mayoría de los días no llegarán. Un rasgo importante para el éxito es simplemente dedicar tiempo y esfuerzo. Como cualquier otra disciplina (música, deportes, ventas, etc.), si quieres llegar a ser de clase mundial, requerirá una tremenda cantidad de disciplina.
Noam Shazeer hace un guiño a la aleatoriedad inherente de las ideas de investigación exitosas en el artículo de SwiGLU:
"No ofrecemos explicación alguna de por qué estas arquitecturas parecen funcionar; atribuimos su éxito, como todo lo demás, a la benevolencia divina."
Un comentario relacionado es que es posible leer demasiados artículos. Si quieres resolver un problema, el camino probado hacia el éxito es intentar una solución, probarla, llegar a un cuello de botella, tratar de resolverlo, y solo recurrir a la literatura cuando te hayas quedado sin ideas por tu cuenta.
II.
Bien, pero ¿en qué debería trabajar?
Si apenas estás comenzando, aquí está mi respuesta honesta: no creo que el tema exacto importe mucho.
Dicho esto, te advertiría que no elijas cosas que hayan sido populares por menos de seis meses. La IA avanza rápido, pero las ideas fundamentales no han cambiado en cuarenta años. Si quieres hacer carrera con esto, no te recomendaría que pienses demasiado en los conceptos de 2026: arneses, agentes, ingeniería de contexto, etc. Estos cambiarán.
En cambio, aprenderás más volviendo a lo básico: aprende qué es la entropía cruzada. Calcúlala a mano para una distribución pequeña. Comprende profundamente SVD, hasta el punto en que puedas empezar a visualizarlo en tu cabeza. No pienses demasiado en RL específicamente para codificación, mejor aprende las ideas detrás de los gradientes de política, por qué son útiles y por qué han sido populares durante décadas.
Un metacomentario más: si el mejor resultado posible de tu proyecto de investigación es una puntuación más alta en un punto de referencia existente, no estás yendo lo suficientemente profundo. A menudo, los conjuntos de datos existentes no probarán nuevas capacidades interesantes.
Jason Wei hace un punto similar:
Una habilidad subestimada pero que a veces es decisiva en la investigación de IA (que realmente no existía hace diez años) es la capacidad de encontrar un conjunto de datos que realmente ejercite un nuevo método en el que estás trabajando.
En cuanto a una sugerencia concreta, no puedo hacer una; eso tiene que venir de ti. Ve profundo, enfócate en lo básico y no persigas puntos de referencia. Mantente en el agua y las ideas llegarán.
III.
en la mente del principiante hay muchas posibilidades; en la mente del experto hay pocas – Suzuki
Algo que se repite a menudo en Silicon Valley hoy en día es cómo la experiencia en investigación de IA podría ser realmente contraproducente para una buena intuición investigativa en la era moderna. He observado partes de esto de cerca; muchos investigadores de la era pre-escalamiento siguen interesados en diseñar métodos que funcionan a pequeña escala pero que obviamente fallarán cuando se prueben a gran escala.
Una cosa realmente impresionante de OpenAI es que la mayoría de las personas que dirigen la empresa (del lado técnico, al menos) tienen menos de 35 años. Muchos de los tomadores de decisiones importantes detrás de chatGPT tienen menos de 30 años. Una conclusión que podemos extraer de esto es que, dado que la IA es un campo tan incipiente (¡chatGPT tiene menos de cuatro años!), nadie tiene una gran ventaja, porque nadie ha estado trabajando en ello por mucho tiempo.
En resumen, aferrarse a las ideas por demasiado tiempo puede ser realmente contraproducente. Practica la mente de principiante. Mantente abierto y no dejes que el ego nuble tu juicio.
IV.
La inspiración llega cuando menos lo esperas.
Aquí hay dos ejemplos de la historia:
- El descubrimiento de la estructura del anillo de benceno llegó famosamente en un sueño: la estructura nunca se había visto antes, pero se imaginó como una serpiente mordiéndose la cola.
- Ozempic básicamente proviene de lagartos. La hormona GLP-1 que imita se encontró por primera vez en el veneno del monstruo de Gila, un lagarto del desierto que come solo unas pocas veces al año. De alguna manera descubrimos cómo hacer que esto funcione también para los humanos.
Una conclusión importante es que para hacer buena investigación, debes hacer cosas además de investigación. La mayoría de mis momentos "eureka" personales ocurrieron lejos del teclado, especialmente cuando salía a caminar.
Darwin, Tesla, Feynman, Aristóteles. Muchos grandes pensadores de la historia proclamaron los enormes beneficios de estirar las piernas y dar un paseo. Incluso si no haces investigación, probablemente deberías caminar más.
V.
Incluso cuando llega la inspiración, la naturaleza puede no ser benevolente: incluso con una implementación perfecta, nuestra idea podría simplemente no ser verdadera en algún sentido fundamental. O quizás lo fue, o parece serlo. Cuando llegan los resultados, ¿cómo deberíamos reaccionar?
Otro principio que podemos tomar prestado del Zen es la ecuanimidad (experimental).
Al analizar un experimento:
¿Salió bien? ¡Genial!
¿Salió mal? ¡También genial!
Ambos resultados te enseñan la misma cantidad de información. De hecho, a menudo es posible aprender más de una serie de resultados negativos que de un solo resultado positivo. "Vaya, todavía no funciona – ¡increíble!" Ahora esa es una actitud saludable para la investigación.
Lo contrario de esto es que no deberías emocionarte tanto con los buenos resultados. De hecho, la mayoría de los buenos resultados se deben a un error; no es que los resultados en sí fueran buenos, es que mediste incorrectamente y te convenciste a ti mismo. Todos quieren que sus ideas funcionen – ¡y esto es bueno! – pero una cosa que todos los investigadores experimentados comparten es un escepticismo extremo, especialmente ante resultados que parecen demasiado buenos para ser verdad. Desafortunadamente, casi siempre lo son.
VI.
Una flor no piensa en competir con la flor que está a su lado. Solo florece.
La investigación está extremadamente orientada a los resultados. Especialmente en el ámbito académico, es fácil mirar los éxitos de otros en papel y dejarse llevar por las emociones.
Las personas tienen éxito por diferentes razones. Algunas personas tienen suerte. El proceso de revisión académica, en particular, no es consistente ni justo. Cuando sale una nueva investigación en tu área que admiras, pregúntate lo siguiente:
¿Estoy operando al nivel de profundidad adecuado para haber hecho este descubrimiento yo mismo?
Ahora hay dos resultados posibles. Si la respuesta es sí – genial. Tu proceso es sólido, pero no hiciste este hallazgo; estabas ocupado, estabas haciendo otra cosa, pero podrías haberlo hecho.
Y si la respuesta es no – entonces tómalo como motivación para profundizar más.
VII.
antes de la iluminación, corta leña, lleva agua. después de la iluminación, corta leña, lleva agua.
Muchos proyectos exitosos suelen implicar cientos de horas de trabajo pesado detrás de escena. Andrej Karpathy etiquetó una parte no trivial de ImageNet a mano. Los creadores de SWEBench, que estaban adelantados a su tiempo en muchos aspectos, pasaron cientos de horas filtrando meticulosamente datos de GitHub para obtener un conjunto pequeño y manejable de problemas de GitHub útiles para la evaluación.
Si observas la carrera de grandes investigadores, probablemente pasaron mucho tiempo trabajando en el anonimato antes de encontrar el éxito. Acostúmbrate a esto. Cuanto más ambiciosa y visionaria sea una idea, más trabajo puede requerir para implementarla y evaluarla a fondo. Esta dificultad es una característica, no un error.
VIII.
Collin Raffel, un investigador increíble a quien respeto profundamente, mencionó una vez que cree que muchas ideas fallan no porque sean malas ideas, sino porque el código tiene un error que el investigador nunca encontró.
En general, este es un problema realmente difícil, especialmente en el mundo de los LLMs. Una pila de software de aprendizaje profundo moderno es extremadamente complicada, y los errores pueden estar en cualquier lugar: en el entrenamiento, en la inferencia, en los arneses, en los datos.
Si algo se ve mal, no puedes seguir adelante. Puedes y debes registrar muchas métricas y esforzarte por entenderlas todas. Si algunas de las métricas se ven diferentes a lo que esperabas, necesitas averiguar por qué, porque algo podría estar mal. He tuiteado antes que uno de los rasgos más importantes en un investigador es la paranoia saludable. ¡Sé paranoico!
IX.
Un punto práctico es que la mayoría de los experimentos que involucran aprendizaje profundo toman demasiado tiempo. Entrenar modelos puede llevar semanas o meses. Hoy en día, evaluar un modelo en una sola tarea puede tomar varios días.
Especialmente al codificar con agentes, nuestro instinto puede ser iniciar muchos experimentos en paralelo y dejar que todos se ejecuten a un ritmo lento. Aunque la paralelización simple ayuda hasta cierto punto, el cambio de contexto es un patrón dañino.
Es de suma importancia que diseñes flujos de trabajo de investigación ergonómicos que apoyen una retroalimentación experimental rápida. Acorta los tiempos de inicio en frío para el entrenamiento, haz evaluaciones pequeñas que devuelvan resultados rápidamente. Admiro mucho el nanoGPT speedrun de Keller Jordan como un ejemplo de cuánto podemos aprender de ciclos de iteración rápidos.
(Dicho esto, al final del día, algunos resultados toman un tiempo inevitablemente largo. Cuando puedas, mantener el estado durante varios días y comprender los experimentos de la semana pasada cuando terminen hoy es una habilidad increíblemente útil).
X.
Los agentes de codificación te ayudan a moverte más rápido, pero empeoran dos problemas: tenemos más dificultades para entender los detalles básicos y cambiamos de contexto con más frecuencia. Un buen investigador trabaja activamente para combatir ambas fuerzas.
Codex puede escribir un script de entrenamiento por ti; incluso puede ejecutar el script, cuidarlo mientras se ejecuta, interpretar los resultados y enviártelos por correo electrónico. Pero tal vez encontró un error y acortó el prompt del sistema sin preguntarte. Tal vez acortó las longitudes de secuencia para que la evaluación se ejecutara en un tiempo razonable. Tal vez ejecutó la configuración incorrecta porque no especificaste.
Desde una perspectiva de ingeniería, todos estos son pequeños errores con una solución fácil. Pero desde una perspectiva científica, son graves: pequeñas omisiones como estas pueden cambiar materialmente resultados importantes de artículos y, por lo tanto, no son aceptables. Cuidado con los dragones. Incluso si no escribiste el código, si quieres entender tus resultados, necesitas entender el sistema que los produjo.
Seré honesto contigo – ¡esto es difícil! Es tentador externalizar la comprensión a la máquina. Para muchas aplicaciones, es más rápido. Pero hacer buena ciencia requiere aprender cómo funciona todo el sistema, para que puedas estar seguro de que las observaciones sobre él son verdaderas. No hay una forma fácil de evitar esto.
XI.
TL;DR: El talento no es todo lo que se necesita para convertirse en un investigador exitoso. El temperamento está enormemente subestimado. Mantén la curiosidad y la persistencia, sé reflexivo y meticuloso, y las ideas llegarán.
