AI 연구를 시작하고 싶으신가요? 정말로 가르쳐 주는 사람은 없다는 게 사실입니다. 적어도 직접적으로는요. 하지만 시작하는 방법이 꽤 간단하다는 것이 밝혀졌습니다: (i) 읽기와 (ii) 직접 만들어보기의 조합입니다. 둘 중 하나만으로는 안 됩니다. 이 두 가지를 병행해야 비로소 연구자가 될 수 있습니다.
뛰어난 연구자가 되는 과정은 명상을 배우는 것과 크게 다르지 않습니다:
I.
이런 오래된 선(禪) 격언이 있습니다 –
*깨달음을 얻는 날에도 우리는 앉는다. 깨달음을 얻지 못하는 날에도 우리는 앉는다.*
연구를 하는 것도 기본적으로 이와 같습니다. 과학적 통찰은 겉보기에는 무작위로 찾아올 수 있습니다. 대부분의 날은 오지 않습니다. 성공을 위한 중요한 자질 중 하나는 단순히 시간과 노력을 꾸준히 투자하는 것입니다. 다른 모든 분야(음악, 스포츠, 영업 등)와 마찬가지로, 세계적 수준이 되려면 엄청난 규율이 필요합니다.
Noam Shazeer는 SwiGLU 논문에서 성공적인 연구 아이디어의 본질적인 무작위성을 훌륭하게 언급했습니다:
"우리는 왜 이러한 아키텍처가 작동하는지에 대한 설명을 제공하지 않습니다; 그 성공은 다른 모든 것과 마찬가지로 신성한 자비 덕분이라고 생각합니다."
관련된 의견은 논문을 너무 많이 읽는 것도 문제가 될 수 있다는 점입니다. 문제를 해결하고 싶다면, 검증된 성공 경로는 해결책을 시도해보고, 실행해보고, 장애물에 부딪히고, 그것을 해결해보려고 노력하다가, 스스로 아이디어가 고갈되었을 때만 문헌을 찾아보는 것입니다.
II.
좋아요, 그럼 무엇을 해야 할까요?
막 시작하는 분이라면, 제 솔직한 대답은 이렇습니다: 정확한 주제가 그렇게 중요하지는 않다고 생각합니다.
하지만, 6개월 미만 동안 유행한 주제를 선택하는 것은 주의하라고 말씀드리고 싶습니다. AI는 빠르게 움직이지만, 근본적인 아이디어는 40년 동안 변하지 않았습니다. 이것을 직업으로 삼고 싶다면, 2026년의 개념들(하네스, 에이전트, 컨텍스트 엔지니어링 등)에 너무 골몰하지 않는 것이 좋습니다. 이런 것들은 변할 것입니다.
대신, 기본으로 돌아가 더 많은 것을 배우게 될 것입니다: cross-entropy가 무엇인지 배우세요. 작은 분포에 대해 손으로 직접 계산해보세요. SVD를 머릿속으로 시각화할 수 있을 정도로 깊이 이해하세요. 코딩을 위한 RL(강화 학습) 자체에 너무 집중하지 말고, 정책 그래디언트(policy gradients) 뒤에 숨은 아이디어, 그것이 왜 유용한지, 그리고 왜 수십 년 동안 인기를 끌었는지 배우세요.
한 가지 더 메타적인 의견을 드리자면: 연구 프로젝트의 최고 결과가 기존 벤치마크에서 더 높은 점수를 받는 것뿐이라면, 당신은 충분히 깊이 파고들지 않은 것입니다. 종종 기존 데이터셋은 새롭고 흥미로운 능력을 테스트하지 못할 것입니다.
AI 연구에서 과소평가되지만 때로는 성패를 가르는 중요한 기술(10년 전에는 거의 존재하지 않았던)은 자신이 연구 중인 새로운 방법을 실제로 실행해볼 수 있는 데이터셋을 찾는 능력입니다.
구체적인 제안을 드리자면, 제가 해드릴 수 없습니다; 그것은 여러분 스스로 찾아야 합니다. 깊이 파고들고, 기본기에 집중하며, 벤치마크 점수를 쫓지 마세요. 물 속에 계속 머물러 있으면 아이디어는 자연히 떠오를 것입니다.
III.
초심자의 마음에는 많은 가능성이 있고, 전문가의 마음에는 가능성이 적다 – 스즈키
요즘 실리콘밸리에서 자주 반복되는 말은, AI 연구 경험이 현대의 좋은 연구 직관에 오히려 역효과를 낼 수도 있다는 것입니다. 저는 이 현상을 가까이서 목격했습니다; 스케일링 이전 시대의 많은 연구자들은 소규모에서는 작동하지만 규모를 키우면 분명히 실패할 방법을 설계하는 데 여전히 관심이 있습니다.
OpenAI의 정말 인상적인 점 중 하나는 회사를 운영하는 사람들(적어도 기술 쪽에서는) 대부분이 35세 미만이라는 것입니다. ChatGPT 뒤에 있는 중요한 의사 결정권자 중 상당수는 30세 미만입니다. 여기서 얻을 수 있는 교훈 중 하나는 AI가 이렇게 초기 단계의 분야이기 때문에(ChatGPT는 출시된 지 4년도 안 되었습니다!) 누구도 큰 이점을 가지지 않는다는 것입니다. 아무도 이 분야에서 오래 일하지 않았기 때문입니다.
요컨대, 아이디어를 너무 오래 붙잡고 있는 것은 오히려 역효과를 낼 수 있습니다. 초심자의 마음을 연습하세요. 열린 마음을 유지하고 자아가 판단을 흐리게 하지 마세요.
IV.
영감은 가장 예상치 못한 순간에 찾아옵니다.
역사 속 두 가지 예시를 들어보겠습니다:
- 벤젠 고리 구조의 발견은 유명하게도 꿈 속에서 이루어졌습니다: 그 구조는 이전에 본 적이 없었지만, 자신의 꼬리를 무는 뱀으로 상상되었습니다.
- 오젬픽은 기본적으로 도마뱀에게서 나왔습니다. 그것이 모방하는 GLP-1 호르몬은 길라 몬스터라는, 1년에 몇 번만 먹는 사막 도마뱀의 독에서 처음 발견되었습니다. 어떻게든 우리는 이것을 인간에게도 적용할 방법을 알아냈습니다.
여기서 중요한 교훈은 좋은 연구를 하려면 연구 외의 다른 일도 해야 한다는 것입니다. 제 개인적인 "아하 순간" 대부분은 키보드에서 떨어져 있을 때, 특히 산책을 할 때 일어났습니다.
다윈, 테슬라, 파인만, 아리스토텔레스. 역사 속 위대한 사상가들은 다리를 풀고 잠시 산책하는 것의 엄청난 이점을 선언했습니다. 연구를 하지 않더라도, 아마 더 많이 걸어야 할 것입니다.
V.
영감이 찾아온다 해도, 자연이 항상 호의적이지만은 않을 수 있습니다: 완벽하게 구현하더라도, 우리의 아이디어가 어떤 근본적인 의미에서는 참이 아닐 수도 있습니다. 또는 그랬을 수도 있고, 그렇게 보일 수도 있습니다. 결과가 나왔을 때, 우리는 어떻게 반응해야 할까요?
선(禪)에서 빌려올 수 있는 또 다른 원칙은 (실험적) 평정심입니다.
실험을 분석할 때:
잘 되었나요? 좋아요!
잘 안 되었나요? 역시 좋아요!
두 결과 모두 당신에게 동일한 양의 정보를 가르쳐줍니다. 사실, 단 하나의 긍정적 결과보다 일련의 부정적 결과에서 더 많은 것을 배우는 것이 종종 가능합니다. "와, 아직도 안 되는군 – 정말 놀라워!" 이것이야말로 연구를 위한 건강한 태도입니다.
이것의 반대는 좋은 결과에 너무 흥분해서는 안 된다는 것입니다. 사실, 대부분의 좋은 결과는 버그 때문에 발생합니다; 결과 자체가 좋았던 것이 아니라, 잘못 측정하고 스스로를 납득시킨 것입니다. 모든 사람은 자신의 아이디어가 통하기를 바랍니다 – 그리고 이것은 좋은 것입니다! – 하지만 모든 경험 많은 연구자들이 공유하는 한 가지는 극도의 회의주의, 특히 결과가 너무 좋아서 믿기 어려워 보일 때입니다. 불행히도, 거의 항상 그렇습니다.
VI.
꽃은 옆에 있는 꽃과 경쟁하려고 생각하지 않습니다. 그저 피어날 뿐입니다.
연구는 결과에 극도로 의존적입니다. 특히 학계에서는, 논문에서 다른 사람들의 성공을 보고 감정적으로 변하기 쉽습니다.
사람들은 저마다 다른 이유로 성공합니다. 어떤 사람들은 운이 좋습니다. 특히 학술 심사 과정은 일관적이지도 않고 공정하지도 않습니다. 자신의 분야에서 존경할 만한 새로운 연구가 나왔을 때, 스스로에게 다음 질문을 해보세요:
나는 이 통찰을 스스로 얻을 수 있었을 만큼 적절한 깊이에서 작업하고 있는가?
이제 두 가지 가능한 결과가 있습니다. 대답이 '그렇다'면 – 좋습니다. 당신의 과정은 건전했지만, 이 발견을 하지는 못했습니다; 바빴거나, 다른 일을 하고 있었지만, 할 수는 있었을 것입니다.
그리고 대답이 '아니오'라면 – 이것을 더 깊이 파고들기 위한 동기부여로 삼으세요.
VII.
깨달음 이전에는, 나무를 패고, 물을 길었다. 깨달음 이후에도, 나무를 패고, 물을 긷는다.
성공적인 프로젝트는 대개 그 이면에 수백 시간의 단순 작업을 포함합니다. Andrej Karpathy는 ImageNet의 적지 않은 부분을 손으로 레이블링했습니다. 여러 면에서 시대를 앞서갔던 SWEBench의 창시자들은 GitHub 데이터를 꼼꼼히 필터링하여 평가에 유용한 작고 다루기 쉬운 GitHub 이슈 세트를 얻는 데 수백 시간을 보냈습니다.
훌륭한 연구자들의 경력을 살펴보면, 그들은 성공을 찾기 전에 오랫동안 무명 속에서 일하는 시간을 보냈을 가능성이 높습니다. 이것에 익숙해지세요. 아이디어가 더 야망 있고 선견지명이 있을수록, 그것을 철저히 구현하고 평가하는 데 더 많은 작업이 필요할 수 있습니다. 이러한 어려움은 버그가 아니라 기능입니다.
VIII.
제가 깊이 존경하는 뛰어난 연구자 Collin Raffel은, 많은 아이디어가 나쁜 아이디어가 아니라 연구자가 발견하지 못한 코드 버그 때문에 실패한다고 생각한다고 언급한 적이 있습니다.
일반적으로 이것은 정말 어려운 문제이며, 특히 LLM(대규모 언어 모델) 세계에서는 더욱 그렇습니다. 현대 딥러닝 소프트웨어 스택은 매우 복잡하며, 버그는 어디에나 있을 수 있습니다: 훈련, 추론, 하네스, 데이터 등에 말이죠.
무언가 잘못된 것처럼 보이면, 넘어가서는 안 됩니다. 많은 지표를 기록하고 그것들을 모두 이해하려고 노력해야 하며, 또 그렇게 할 수 있습니다. 일부 지표가 예상과 다르게 보인다면, 그 이유를 알아내야 합니다. 무언가 잘못되었을 수 있기 때문입니다. 저는 연구자에게 가장 중요한 자질 중 하나가 건강한 편집증이라고 이전에 트윗한 적이 있습니다. 편집증적으로 행동하세요!
IX.
실용적인 한 가지 점은 딥러닝과 관련된 대부분의 실험은 너무 오래 걸린다는 것입니다. 모델을 훈련하는 데는 몇 주 또는 몇 달이 걸릴 수 있습니다. 요즘에는 단일 작업에 대해 모델을 평가하는 데도 며칠이 걸릴 수 있습니다.
특히 에이전트와 함께 코딩할 때, 우리는 본능적으로 많은 실험을 병렬로 시작하고 모두 느린 속도로 실행되도록 할 수 있습니다. 단순한 병렬화가 어느 정도 도움이 되지만, 컨텍스트 스위칭(멀티태스킹)은 해로운 패턴입니다.
빠른 실험 피드백을 지원하는 인체공학적인 연구 워크플로우를 설계하는 것이 가장 중요합니다. 훈련을 위한 콜드 스타트 시간을 단축하고, 결과를 빠르게 반환하는 작은 평가(eval)를 만드세요. 저는 Keller Jordan의 nanoGPT speedrun이 빠른 반복 주기에서 얼마나 많은 것을 배울 수 있는지 보여주는 예로서 정말 존경합니다.
(하지만, 결국 어떤 결과는 불가피하게 오랜 시간이 걸립니다. 가능할 때, 며칠에 걸쳐 상태를 유지하고 오늘 끝난 지난주 실험을 이해하는 것은 엄청나게 유용한 기술입니다.)
X.
코딩 에이전트는 작업 속도를 높여주지만, 두 가지 문제를 악화시킵니다: 기본적인 세부 사항을 이해하기가 더 어려워지고, 컨텍스트 스위칭이 더 자주 발생합니다. 좋은 연구자는 두 가지 힘 모두에 적극적으로 맞서 싸워야 합니다.
Codex가 훈련 스크립트를 작성해 줄 수 있습니다; 스크립트를 실행하고, 실행 중인지 모니터링하며, 결과를 해석하고, 이메일로 보내줄 수도 있습니다. 하지만 오류가 발생했을 때 여러분에게 묻지 않고 시스템 프롬프트를 줄여버렸을 수도 있습니다. 평가를 합리적인 시간 내에 실행하기 위해 시퀀스 길이를 줄였을 수도 있습니다. 여러분이 지정하지 않았기 때문에 잘못된 설정으로 실행했을 수도 있습니다.
엔지니어링 관점에서 이것들은 모두 쉽게 고칠 수 있는 작은 오류입니다. 하지만 과학적 관점에서는 심각합니다: 이와 같은 작은 누락은 논문의 중요한 결과를 실질적으로 바꿀 수 있으므로 용납될 수 없습니다. 드래곤을 조심하세요. 코드를 직접 작성하지 않았더라도, 결과를 이해하려면 결과를 생성한 시스템을 이해해야 합니다.
솔직히 말씀드리자면 – 이것은 어렵습니다! 이해를 기계에 아웃소싱하고 싶은 유혹이 듭니다. 많은 애플리케이션에서는 그것이 더 빠릅니다. 하지만 좋은 과학을 하려면 전체 시스템이 어떻게 작동하는지 배워서 시스템에 대한 관찰이 사실임을 확신할 수 있어야 합니다. 이것을 피할 수 있는 쉬운 방법은 없습니다.
XI.
TLDR: 재능만으로 성공적인 연구자가 되는 것은 아닙니다. 기질(temperament)이 크게 과소평가되고 있습니다. 호기심과 끈기를 유지하고, 사려 깊고 꼼꼼하게 임하면, 아이디어는 자연히 찾아올 것입니다.
