Hoje à noite, vi de repente o Musk postar um tweet: "Impressionante trabalho do Kimi."
Fui ver o que deixou o velho Musk tão empolgado. Então, descobri que o Kimi tinha publicado um artigo.
Li com atenção o artigo que Musk elogiou. Descobri que o protagonista deste artigo é algo bem familiar para mim — as conexões residuais. Minha primeira reação foi: Peraí, não foi isso que o DeepSeek mexeu no final do ano passado?
Em janeiro deste ano, escrevi um artigo interpretando o artigo mHC do DeepSeek. A ideia central era: o DeepSeek encontrou algo que todo mundo achava que não precisava ser mudado — as conexões residuais — e o mudou.
Agora o Kimi também está mexendo nas conexões residuais, e o Musk diz que é impressionante. Li o artigo confuso. A conclusão: ambos os laboratórios encontraram o mesmo problema, mas seus pontos de partida e profundidades de soluções são completamente diferentes.
Qual problema o DeepSeek encontrou e como eles o resolveram?
Vamos revisar rapidamente o artigo do DeepSeek. As conexões residuais padrão são assim:
h_l = h_{l-1} + f_{l-1}(h_{l-1})
A saída de cada camada = saída da camada anterior + novas coisas aprendidas nesta camada. Pesos fixos, acumulação uniforme. Proposto pela ResNet em 2015, usado por todos os grandes modelos desde então.
A percepção do problema do DeepSeek era: Pesos fixos são muito rígidos? É razoável que toda camada trate todas as camadas anteriores igualmente?
A primeira tentativa deles foi o Hyper-Connections (HC): expandir o fluxo residual de 1 para 4 caminhos, com pesos aprendíveis para cada um. Funcionou bem, mas tinha uma falha fatal: instabilidade no treinamento. As matrizes de peso aprendíveis não tinham restrições e, após 60 camadas de multiplicação, o sinal era amplificado 3000 vezes. A curva de perca disparava subitamente no meio do treinamento.
A solução final mHC: restringir a matriz de peso a uma "matriz duplamente estocástica" — onde a soma de cada linha e coluna é igual a 1. Essa propriedade matemática garante que a norma espectral seja ≤ 1, evitando a explosão do sinal. O treinamento ficou estável e o desempenho superou as conexões residuais originais a um custo de apenas 6,7% a mais de tempo de treinamento.
A solução do DeepSeek: mudar os pesos das conexões de fixos para aprendíveis, usando restrições matemáticas para garantir estabilidade.
O que o Kimi encontrou, e por que parece igual?
O artigo do Kimi também começa discutindo problemas com conexões residuais. Mas, conforme li, a definição de problema do Kimi está em outro nível.
O DeepSeek perguntou: Os pesos podem ser mais flexíveis?
O Kimi perguntou: Qual é o problema mais fundamental? Mesmo que os pesos sejam aprendíveis, o que ainda não foi resolvido?
Eles encontraram três respostas.
Primeiro, você não pode "escolher do cardápio."
Cada camada vê apenas o "estado misturado" passado pela camada anterior — o resultado de todas as saídas das camadas anteriores sendo mexidas juntas. Mas diferentes tipos de camadas precisam de coisas diferentes: algumas podem precisar de semântica bruta inicial, outras podem precisar de características recém-calculadas. Atualmente, todas comem a mesma refeição misturada; elas não podem dizer "quero a saída da camada 3."
Segundo, a informação não pode ser recuperada.
Quando uma camada aprende algo valioso e é misturada ao estado acumulado, ela se mescla com todo o resto. À medida que as camadas subsequentes empilham novas saídas, essa informação desaparece e eventualmente é abafada. É irreversível.
Terceiro, as camadas posteriores acham mais difícil ter impacto.
Imagine falar em uma sala que fica cada vez mais barulhenta. As camadas anteriores acumularam um sinal grande; as camadas posteriores precisam gritar mais alto que todos os predecessores combinados para serem ouvidas. O artigo mediu isso: nas camadas finais, a magnitude do sinal é mais de dez vezes o início. Para ter o mesmo impacto, as camadas posteriores precisam de dez vezes o "volume."
O mHC resolveu a estabilidade do treinamento, mas esses três problemas fundamentais permanecem — porque os pesos do mHC, embora aprendíveis, são fixos após o treinamento. Independentemente da entrada, os pesos são os mesmos.
Solução do Kimi: Movendo soluções da dimensão temporal para a dimensão de profundidade
A solução do Kimi vem de uma bela analogia. Esses três problemas — sem cardápio, informação perdida e gritar em uma sala barulhenta — parecem familiares. São exatamente os problemas encontrados antes de 2017 ao processar sequências de texto com RNNs.
Em 2017, "Attention Is All You Need" propôs o Transformer, usando o mecanismo de atenção para resolver isso: cada posição não vê mais apenas o estado comprimido anterior, mas pode olhar para trás em todas as posições históricas e decidir dinamicamente onde focar.
Curiosamente, enquanto aquele artigo atualizou o processamento de texto, ele não tocou no fluxo de informação entre camadas — as conexões residuais permaneceram a acumulação fixa de 2015.
A pergunta do Kimi: Quando processamos texto, substituímos a "transferência comprimida" pela atenção; por que ainda estamos usando "transferência comprimida" entre camadas?
Essa é a percepção central do AttnRes: aplicar o mecanismo de atenção às conexões entre camadas. De certa forma, esta é a sequência de "Attention Is All You Need" na direção da profundidade.
Simplificando, cada camada agora pode "olhar para trás" nas saídas de todas as camadas anteriores e decidir dinamicamente quais resultados são mais relevantes com base no conteúdo atual. Esse "olhar para trás" é o mecanismo de atenção — o mesmo que os Transformers fazem com texto, mas a direção muda de "olhar para trás nas palavras anteriores" para "olhar para trás nas camadas anteriores."
O custo de parâmetros é insignificante: apenas um vetor extra por camada. Mais importante, os pesos "para quem olhar" não são fixos. O mesmo modelo, processando entradas diferentes, focará em camadas diferentes. Esta é a diferença essencial do mHC: os pesos do mHC são fixos após o treinamento; os pesos do AttnRes são "vivos."
Isso me lembra Proust. Em "Em Busca do Tempo Perdido," quando Marcel prova o madeleine mergulhado no chá, a infância de Combray volta — não como uma impressão vaga, mas como uma percepção precisa que ignora todas as cadeias narrativas intermediárias. Proust chamou isso de "memória involuntária." O AttnRes dá a cada camada uma habilidade proustiana de engenharia: acionada pelo conteúdo atual, ela salta diretamente para a saída precisa de qualquer camada predecessora sem passar pela cadeia de compressão intermediária.
A Diferença Essencial Entre as Duas Soluções
DeepSeek mHC | Kimi AttnRes | |
|---|---|---|
O que foi mudado | Método de aprendizado dos pesos da conexão | Estrutura do fluxo de informação |
Pesos: Vivos ou Mortos | Fixos após o treinamento | Diferentes para cada entrada |
O que pode ser visto | Apenas o estado misturado da camada anterior | Pode ver diretamente as saídas brutas de todas as camadas anteriores |
O que foi resolvido | Pesos rígidos | Seleção de "cardápio" + efeito de sala barulhenta |
Um estudo de ablação no artigo é muito direto: se o modelo pode ver todas as camadas anteriores, mas os pesos são fixos, quase não há melhora. Mas com pesos dinâmicos (decididos em tempo real com base no conteúdo), o desempenho melhora significativamente.
Block AttnRes: Implementação de Engenharia
Idealmente, cada camada olha para trás em todas as camadas anteriores (Full AttnRes). Mas para um modelo com mais de 100 camadas, armazenar todas as saídas consome muita memória. A solução de engenharia do Kimi é o Block AttnRes: dividir as camadas em cerca de 8 "blocos." Dentro dos blocos, são usados residuais padrão; entre blocos, é usada atenção. O uso de memória cai drasticamente, mantendo a maioria dos ganhos. A sobrecarga de treinamento é inferior a 4%, e a latência de inferência aumenta menos de 2%.
Quais são os resultados?
Testado no modelo de 48B parâmetros do Kimi: Usando o mesmo poder computacional, o AttnRes alcançou desempenho que métodos padrão precisariam de 25% mais poder computacional para atingir.
As melhorias nas tarefas downstream são significativas, especialmente em raciocínio:
- GPQA-Diamond: 36,9 → 44,4 (+7,5 pontos)
- Matemática: 53,5 → 57,1
- Código: 59,1 → 62,2
- C-Eval: 79,6 → 82,5
O que o modelo aprendeu?
O Kimi visualizou os padrões de "olhar para trás":
- Olha mais para os vizinhos. Os residuais padrão não estavam totalmente errados.
- A entrada original nunca é esquecida. Mesmo nas camadas mais profundas, a atenção à entrada inicial é diferente de zero.
- O modelo inventou "atalhos." Certas camadas pulam o meio para focar em camadas muito iniciais.
O Panorama Geral
A maioria das equipes foca em melhores dados, contexto mais longo ou MoE maior. Estas são otimizações sob a suposição de que "as conexões de camada são fixas." Voltar à estrutura base para uma descoberta requer julgamento técnico e força de engenharia.
As conexões residuais são o padrão há dez anos. Em três meses, dois laboratórios chineses encontraram descobertas fundamentais aqui. O "Impressive work" de Musk é mais que cortesia; sinaliza que o paradigma subjacente do aprendizado profundo está mudando.
Referências:
- Relatório Attention Residuals: https://github.com/MoonshotAI/Attention-Residuals
- Artigo mHC: https://arxiv.org/abs/2512.24880
- Relatório Kimi Linear: https://arxiv.org/abs/2510.26692
O Kimi explica este artigo em termos simples: Modelos grandes são como um prédio de 100 andares. Por dez anos, trabalhadores passaram um único arquivo misturado andar por andar. O Kimi instalou um telefone em cada andar. Agora, o trabalhador no 100º andar pode ligar diretamente para o 3º andar para verificar dados, em vez de cavar em um arquivo que foi modificado 97 vezes. Essa simples mudança deu ao modelo um aumento gratuito de 25% no desempenho.
