Anthropic は最近、最新モデル向けに Claude Code のシステムプロンプトを約 80% 削除しました。
その理由は直感的です。モデルが賢くなるにつれて、必要な指示、制約、例が少なくなります。一定の能力レベルを超えると、例は役立つどころか、モデルを制限し始めます。
Anthropic の決定はデータに裏付けられていると私たちは考えていますが、その証拠は 最新モデルにのみ 適用されます。
当然の次の疑問は、Deep Seek v4 のような一般的な主力モデルでも効果があるのか ということです。
小型で高速、低コストのモデルこそ、詳細な手助けに依存すると予想されます。プロンプトを半分に削れば、従来の常識では機能しなくなるはずです。
私たちは実験を行ったので、あなたがやる必要はありません。
セットアップ
当社のコーディングエージェント Ante には、--short-prompt モードがあります。
これにより、システムプロンプトを約 5,000 文字から 2,300 文字に統合し、ツールの説明を短縮します。これらの変更により、1 リクエストあたりのプロンプト全体が約 34,000 文字から 18,000 文字に削減されます。
2 つのバージョンを A/B テストしました。
- タスク: Terminal-Bench 2.1 完全 89 タスクスイート
- モデル: DeepSeek V4 Flash
- 試行回数: タスクごとに 1 回
- 変更した変数: 1 つの CLI フラグ
その他はすべて一定です。同じエージェントビルド、固定データセットダイジェスト、サンドボックスプール、努力レベル、ランタイムフラグです。
結果
パフォーマンス: 同等。 ショートプロンプトは実際には +2.3 ポイント高いスコアでしたが、タスクごとに 1 回の試行ではノイズの範囲内です。
入力トークン: 同じ結果のサブセットで 32% 低減。 20 のタスクで実行間の合否結果が変わり、それによりエージェントの作業時間も変わり、トークン数の比較が不適切になりました。これらの 20 タスクを除外し、結果が同じだった 69 タスクについて、2 つの独立した中央値を比較しました。ロングプロンプトでは 509,498 入力トークン、ショートプロンプトでは 346,409 入力トークンで、32% 低い結果です。これは意図的に選択されたサブセットであり、スイート全体のコスト見積もりではありません。
全 89 タスクの入力トークン総計はほぼ横ばいであり、その点は正直に認める価値があります。会話履歴が入力使用量の大半を占め、ショートプロンプトの実行がより長い解決経路をとった少数のタスクによって、リクエストごとの節約が合計で相殺されています。実行コストも同様にわずかに変化し、$4.25 から $4.18 になりました。
私たちが注目し、見つけられなかったもの: 能力の崖。20 のタスクで実行間の結果が逆転しました（11 が新たに合格、9 が新たに不合格）。しかし、その変動はこのベンチマークにおける単一試行のばらつきの特徴であり、パターンではありません。どのタスクカテゴリも崩壊しませんでした。
この実験が証明しないこと
これは次の条件でした。
- 1 つのモデル
- 1 つのベンチマーク
- タスクあたり 1 回の試行
32% のトークン結果は選択された同一結果サブセットからのものです。実行間のタスク変動の大きさは、複数試行による検証が重要である理由も示しています。推定ノイズフロアが約 ±5 パーセントポイントであるため、わずかな回帰がこれらの結果に隠れている可能性があります。私たちは、全員のデフォルトを変更する前に、複数試行の評価を実行するでしょう。
まとめ
このモデル、このベンチマークにおいて、プロンプトを約半分に削減しても、悪化は見られませんでした。
結果が同じだった 69 タスクのうち、ショートプロンプト実行の入力トークン中央値は約 3 分の 1 低くなりました。
この結果は、Anthropic が 1 段階上のモデルで観察した方向性と一致しています。
新しいモデル世代が登場したとき、最初にすべきことはプロンプトを追加することではなく、削除することです。
2 世代前のモデルが必要としていたために、まだシステムプロンプトに残っているものはどれくらいありますか？
