Anthropic가 최근 최신 모델들을 위해 Claude Code의 시스템 프롬프트를 약 80% 제거했습니다.
그 이유는 직관적입니다. 모델이 더 똑똑해질수록, 더 적은 지시, 더 적은 제약, 더 적은 예시가 필요합니다. 특정 능력 수준을 넘어서면, 예시는 도움이 되기보다는 오히려 모델을 제한하기 시작합니다.
Anthropic의 결정은 데이터에 기반한 것으로 보입니다. 하지만 그 증거는 최신 모델에만 적용됩니다.
당연히 떠오르는 후속 질문은 이렇습니다. Deep Seek V4 같은 흔히 사용되는 주류 워크호스 모델에서는 효과가 있을까요?
작고, 빠르고, 저렴한 모델일수록 상세한 지침에 의존할 것으로 예상됩니다. 프롬프트를 절반으로 줄이면, 일반적으로는 성능이 떨어질 것이라고 생각합니다.
저희가 실험을 직접 해봤으니, 여러분은 하실 필요가 없습니다.
실험 설정
저희 코딩 에이전트 Ante에는 --short-prompt 모드가 있습니다.
이 모드는 시스템 프롬프트를 약 5,000자에서 2,300자로 줄이고, 도구 설명도 단축합니다. 이러한 변경을 통해 요청당 전체 프롬프트를 약 34,000자에서 18,000자로 줄입니다.
두 버전을 A/B 테스트한 환경은 다음과 같습니다.
- 작업: Terminal-Bench 2.1 전체 89개 작업 세트
- 모델: DeepSeek V4 Flash
- 시도 횟수: 작업당 1회
- 변경 변수: CLI 플래그 하나
다른 모든 요소는 동일하게 유지했습니다. 동일한 에이전트 빌드, 고정된 데이터셋 다이제스트, 동일한 샌드박스 풀, 동일한 노력 수준, 그리고 동일한 런타임 플래그입니다.
실험 결과
성능: 동등. 짧은 프롬프트가 실제로 +2.3점 더 높았지만, 작업당 1회 시도임을 감안하면 이는 노이즈 범위 내에 있습니다.
입력 토큰: 동일한 결과 하위 집합에서 32% 감소.
20개의 작업이 실행 간에 성공/실패 결과가 바뀌었는데, 이는 해당 에이전트의 작업 시간을 변경시켜 토큰 수를 동등하게 비교하기 어렵게 만들었습니다. 이 20개 작업을 제외하고 결과가 동일하게 유지된 69개 작업만 남긴 후, 두 독립적인 중앙값을 비교했습니다. 긴 프롬프트의 경우 509,498개 입력 토큰, 짧은 프롬프트의 경우 346,409개 입력 토큰입니다. 이는 32% 더 낮은 수치입니다. 이는 의도적으로 선택된 하위 집합이며, 전체 작업 세트의 비용 추정치가 아닙니다.
전체 89개 작업에 대한 총 입력 토큰 합계는 거의 차이가 없었습니다. 이 점을 솔직히 인정할 필요가 있습니다. 대화 기록이 입력 사용량을 지배하며, 짧은 프롬프트 실행이 더 긴 해결 경로를 택한 몇몇 작업에서 요청당 절감액이 합계에서 상쇄되었기 때문입니다. 실행 비용 역시 $4.25에서 $4.18로 약간만 변경되었습니다.
우리가 주시했지만 발견하지 못한 것: 능력 급락. 20개의 작업이 실행 간에 결과가 뒤바뀌었습니다. 11개는 새로 통과, 9개는 새로 실패했습니다. 하지만 이 변동은 이 벤치마크에서 단일 시도 시 나타나는 일반적인 변동성일 뿐, 특정 패턴은 아닙니다. 어떤 작업 범주도 완전히 붕괴되지 않았습니다.
이 실험으로 증명되지 않은 것
이번 실험은 다음과 같았습니다.
- 단일 모델
- 단일 벤치마크
- 작업당 단일 시도
32% 토큰 감소 결과는 선택된 동일 결과 하위 집합에서 나온 것입니다. 실행 간 작업 변동 폭은 다중 시도 검증이 왜 중요한지 보여줍니다.
추정 노이즈 범위가 약 ±5% 포인트임을 감안할 때, 작은 성능 저하가 여전히 이 결과에 숨어 있을 수 있습니다. 기본값을 모든 사용자에게 변경하기 전에 다중 시도 평가를 먼저 실행할 것입니다.
결론
이 모델과 이 벤치마크에서, 프롬프트를 대략 절반으로 줄였을 때 측정 가능한 성능 저하는 없었습니다.
결과가 동일하게 유지된 69개 작업 중에서, 짧은 프롬프트 실행의 중간 입력 토큰 수는 약 1/3 더 낮았습니다.
이 결과는 Anthropic이 한 단계 위에서 관찰한 방향과 일치합니다.
새로운 모델 세대가 등장했을 때, 가장 먼저 해야 할 일은 프롬프트에 무언가를 추가하는 것이 아닙니다. 삭제하는 것입니다.
여러분의 시스템 프롬프트 중 얼마나 많은 부분이, 두 세대 전 모델이 필요했기 때문에 아직도 남아 있나요?
