오늘 밤 갑자기 머스크가 이런 트윗을 올린 걸 봤습니다: "Kimi 의 작업이 인상적이다."
그래서 머스크가 뭐에 그렇게 신났는지 확인해 봤습니다. 그리고 Kimi 가 논문을 발표했다는 걸 알게 됐죠.
머스크가 칭찬한 그 논문을 꼼꼼히 읽어봤습니다. 이 논문의 주인공은 제게 꽤 익숙한 것, 바로 잔차 연결(Residual Connections) 이었습니다. 첫 반응은: 잠깐, 이거 DeepSeek 가 작년 말에 건드렸던 거 아냐?
올해 1월, 저는 DeepSeek 의 mHC 논문을 해설하는 글을 썼습니다. 핵심은 이것이었죠: DeepSeek 는 누구도 바꿀 필요가 없다고 생각했던 것, 즉 잔차 연결을 발견하고, 그것을 바꿨습니다.
이제 Kimi 도 잔차 연결에 메스를 대고 있고, 머스크는 인상적이라고 말합니다. 저는 혼란스러운 마음으로 논문을 읽었습니다. 결론은 이렇습니다: 두 연구실 모두 같은 문제를 발견했지만, 접근 방식과 해결책의 깊이는 완전히 다릅니다.
DeepSeek 는 어떤 문제를 발견했고, 어떻게 해결했을까?
DeepSeek 논문을 간단히 복습해 봅시다. 표준 잔차 연결은 이렇게 생겼습니다:
h_l = h_{l-1} + f_{l-1}(h_{l-1})
모든 레이어의 출력 = 이전 레이어의 출력 + 이번 레이어에서 학습한 새로운 것들. 고정된 가중치, 균일한 누적. 2015년 ResNet 에서 제안되었고, 이후 모든 대규모 모델이 사용해 왔습니다.
DeepSeek 가 인식한 문제는 이것이었습니다: 고정된 가중치는 너무 경직된 것이 아닌가? 모든 레이어가 이전의 모든 레이어를 동등하게 대우하는 것이 합리적인가?
그들의 첫 번째 시도는 Hyper-Connections (HC) 였습니다: 잔차 흐름을 1개 경로에서 4개 경로로 확장하고, 각각에 학습 가능한 가중치를 부여했습니다. 잘 작동했지만 치명적인 결함이 있었습니다: 훈련 불안정성이었습니다. 학습 가능한 가중치 행렬에는 제약 조건이 없었고, 60개 레이어를 곱한 후에는 신호가 3000배 증폭되었습니다. 손실 곡선은 훈련 중간에 갑자기 급등하곤 했죠.
최종 mHC 해결책: 가중치 행렬을 "이중 확률 행렬(doubly stochastic matrix)" 로 제한하는 것입니다. 즉, 각 행과 열의 합이 1이 되도록 하는 것입니다. 이 수학적 속성은 스펙트럼 노름(spectral norm) 이 ≤ 1 이 되도록 보장하여 신호 폭발을 방지합니다. 훈련은 안정적으로 바뀌었고, 성능은 원래 잔차 연결을 능가했으며 추가 훈련 시간은 6.7% 에 불과했습니다.
DeepSeek 의 해결책: 연결 가중치를 고정에서 학습 가능으로 변경하고, 수학적 제약 조건을 사용하여 안정성을 보장했습니다.
Kimi 는 무엇을 발견했고, 왜 똑같아 보일까?
Kimi 의 논문도 잔차 연결의 문제점을 논의하는 것으로 시작합니다. 하지만 계속 읽어 내려가면서, Kimi 의 문제 정의는 차원이 다르다는 것을 알게 되었습니다.
DeepSeek 가 물었습니다: 가중치를 더 유연하게 만들 수 있을까?
Kimi 가 물었습니다: 더 근본적인 문제는 무엇인가? 가중치가 학습 가능하더라도, 아직 해결되지 않은 것은 무엇인가?
그들은 세 가지 답을 찾았습니다.
첫째, "메뉴에서 주문" 할 수 없습니다.
각 레이어는 이전 레이어에서 전달된 "혼합된 상태(mixed state)" 만 볼 수 있습니다. 즉, 이전 모든 레이어의 출력을 섞어 놓은 결과입니다. 하지만 서로 다른 유형의 레이어는 서로 다른 것을 필요로 합니다: 어떤 레이어는 초기의 원시 의미론이 필요할 수도 있고, 다른 레이어는 방금 계산된 특징이 필요할 수도 있습니다. 현재로서는 모두 동일한 혼합 식사를 해야 하며, "3번 레이어의 출력을 원합니다" 라고 말할 수 없습니다.
둘째, 정보는 복구될 수 없습니다.
일단 레이어가 가치 있는 것을 학습하여 누적된 상태에 섞이게 되면, 다른 모든 것들과 혼합됩니다. 후속 레이어가 새로운 출력을 쌓아올리면서, 그 정보는 희미해지고 결국 묻혀버립니다. 돌이킬 수 없습니다.
셋째, 나중 레이어는 영향을 미치기 더 어렵습니다.
점점 더 시끄러워지는 방에서 이야기하는 것을 상상해 보세요. 이전 레이어들은 큰 신호를 축적했습니다; 나중 레이어들은 이전 모든 레이어를 합친 것보다 더 크게 소리쳐야만 들을 수 있습니다. 논문에서 이를 측정했습니다: 최종 레이어에 이르면 신호 크기는 시작 때보다 10배 이상입니다. 동일한 영향을 미치기 위해, 나중 레이어는 10배의 "볼륨" 이 필요합니다.
mHC 는 훈련 안정성을 해결했지만, 이러한 세 가지 근본적인 문제는 여전히 남아 있습니다. 왜냐하면 mHC 가중치는 학습 가능하지만, 훈련 후에는 고정되기 때문입니다. 입력에 관계없이 가중치는 동일합니다.
Kimi 의 해결책: 시간 차원의 해결책을 깊이 차원으로 이동
Kimi 의 해결책은 아름다운 비유에서 비롯됩니다. 이 세 가지 문제(메뉴 없음, 정보 손실, 시끄러운 방에서 소리 지르기)는 익숙해 보입니다. 이는 2017년 이전에 RNN 으로 텍스트 시퀀스를 처리할 때 직면했던 문제와 정확히 동일합니다.
2017년, "Attention Is All You Need" 는 Transformer 를 제안하여 어텐션 메커니즘을 사용하여 이 문제를 해결했습니다: 각 위치는 더 이상 이전의 압축된 상태만 보는 것이 아니라, 모든 과거 위치를 되돌아보고 동적으로 어디에 집중할지 결정할 수 있습니다.
흥미롭게도, 그 논문이 텍스트 처리를 업그레이드하는 동안, 레이어 간 정보 흐름은 건드리지 않았습니다. 즉, 잔차 연결은 2015년의 고정된 누적 방식 그대로였습니다.
Kimi 의 질문: 텍스트를 처리할 때 우리는 "압축된 전달" 을 어텐션으로 대체했습니다. 그런데 왜 레이어 간에는 여전히 "압축된 전달" 을 사용하고 있을까요?
이것이 AttnRes 의 핵심 통찰입니다: 레이어 간 연결에 어텐션 메커니즘을 적용하는 것입니다. 어떤 의미에서, 이것은 "Attention Is All You Need" 의 깊이 방향 속편이라고 할 수 있습니다.
간단히 말해, 이제 각 레이어는 모든 이전 레이어의 출력을 "되돌아보고" 현재 콘텐츠에 따라 어떤 결과가 가장 관련 있는지 동적으로 결정할 수 있습니다. 이 "되돌아보기" 가 바로 어텐션 메커니즘입니다. Transformer 가 텍스트에 하는 것과 동일하지만, 방향이 "이전 단어를 되돌아보기" 에서 "이전 레이어를 되돌아보기" 로 바뀐 것입니다.
매개변수 비용은 미미합니다: 레이어당 추가 벡터 하나만 있으면 됩니다. 가장 중요한 것은, "누구를 볼지" 에 대한 가중치가 고정되어 있지 않다는 점입니다. 동일한 모델이 다른 입력을 처리할 때, 다른 레이어에 집중하게 됩니다. 이것이 mHC 와의 본질적인 차이점입니다: mHC 가중치는 훈련 후 고정되지만, AttnRes 가중치는 "살아 있습니다".
이것은 마르셀 프루스트가 생각나게 합니다. "잃어버린 시간을 찾아서" 에서, 마르셀이 차에 적신 마들렌 과자를 맛보았을 때, 콩브레의 어린 시절이 되살아납니다. 모호한 인상이 아니라, 중간의 모든 서사적 연결고리를 건너뛴 정확한 지각으로 말입니다. 프루스트는 이것을 "비자발적 기억" 이라고 불렀습니다. AttnRes 는 각 레이어에 공학적인 프루스트적 능력을 부여합니다: 현재 콘텐츠에 의해 촉발되어, 중간 압축 체인을 거치지 않고 이전 레이어의 정확한 출력으로 직접 점프합니다.
두 해결책의 본질적 차이점
DeepSeek mHC | Kimi AttnRes | |
|---|---|---|
변경된 것 | 연결 가중치의 학습 방식 | 정보 흐름의 구조 |
가중치: 살아 있는가 죽은 것인가 | 훈련 후 고정 | 입력마다 다름 |
볼 수 있는 것 | 이전 레이어의 혼합된 상태만 | 모든 이전 레이어의 원시 출력을 직접 볼 수 있음 |
해결된 문제 | 경직된 가중치 | "메뉴" 선택 + 시끄러운 방 효과 |
논문의 절제 연구(ablation study)는 매우 직접적입니다: 모델이 모든 이전 레이어를 볼 수 있지만 가중치가 고정되어 있다면, 거의 개선이 없습니다. 그러나 동적 가중치(콘텐츠에 따라 실시간으로 결정됨)를 사용하면 성능이 크게 향상됩니다.
Block AttnRes: 공학적 구현
이상적으로는 모든 레이어가 모든 이전 레이어를 되돌아보는 것입니다(Full AttnRes). 하지만 100개 이상의 레이어로 구성된 모델의 경우, 모든 출력을 저장하는 것은 메모리를 너무 많이 사용합니다. Kimi 의 공학적 해결책은 Block AttnRes 입니다: 레이어를 약 8개의 "블록" 으로 나누는 것입니다. 블록 내에서는 표준 잔차 연결을 사용하고, 블록 간에는 어텐션을 사용합니다. 메모리 사용량은 크게 줄어들면서도 대부분의 이점은 유지됩니다. 훈련 오버헤드는 4% 미만이며, 추론 지연 시간은 2% 미만으로 증가합니다.
결과는 어떨까?
Kimi 의 480억 파라미터 모델에서 테스트: 동일한 컴퓨팅을 사용했을 때, AttnRes 는 표준 방식이 25% 더 많은 컴퓨팅이 필요한 성능을 달성했습니다.
다운스트림 작업의 개선은 상당하며, 특히 추론 분야에서 두드러집니다:
- GPQA-Diamond: 36.9 → 44.4 (+7.5 포인트)
- 수학: 53.5 → 57.1
- 코드: 59.1 → 62.2
- C-Eval: 79.6 → 82.5
모델은 무엇을 배웠을까?
Kimi 는 "되돌아보기" 패턴을 시각화했습니다:
- 대부분 이웃을 봅니다. 표준 잔차 연결이 완전히 틀린 것은 아니었습니다.
- 원래 입력은 결코 잊혀지지 않습니다. 가장 깊은 레이어에서도 초기 입력에 대한 어텐션은 0이 아닙니다.
- 모델이 "지름길" 을 발명했습니다. 특정 레이어는 중간을 건너뛰고 매우 초기 레이어에 집중합니다.
큰 그림
대부분의 팀은 더 나은 데이터, 더 긴 컨텍스트, 또는 더 큰 MoE 에 집중합니다. 이는 "레이어 연결은 고정되어 있다" 는 가정 하에서의 최적화입니다. 기본 구조로 돌아가 돌파구를 찾으려면 기술적 판단력과 엔지니어링 역량이 필요합니다.
잔차 연결은 10년 동안 기본값이었습니다. 3개월 안에, 두 개의 중국 연구실이 여기서 근본적인 돌파구를 발견했습니다. 머스크의 "인상적인 작업" 은 단순한 예의 이상입니다. 이는 딥러닝의 근본적인 패러다임이 변하고 있다는 신호입니다.
참고 자료:
- Attention Residuals Report: https://github.com/MoonshotAI/Attention-Residuals
- mHC 논문: https://arxiv.org/abs/2512.24880
- Kimi Linear Report: https://arxiv.org/abs/2510.26692
Kimi 는 이 논문을 쉽게 설명합니다: 대규모 모델은 100층짜리 건물과 같습니다. 10년 동안 작업자들은 하나의 혼합된 파일을 층층이 올려 보냈습니다. Kimi 는 모든 층에 전화기를 설치했습니다. 이제 100층의 작업자는 97번 수정된 파일을 뒤질 필요 없이, 3층에 직접 전화를 걸어 데이터를 확인할 수 있습니다. 이 간단한 변경으로 모델은 25% 의 성능 향상을 거저 얻었습니다.
