Codex 上で自己改善型の自動アウトバウンドシステムを構築する方法

1codex-self-improving-outbound/
2  AGENTS.md
3  README.md
4  config/
5    scoring.yaml
6    plays.yaml
7  prompts/
8    improve_scoring.md
9    improve_prompt.md
10    pr_summary.md
11  memory/
12    outcomes.jsonl
13  evals/
14    fixtures.yaml
15    score.py
16  scripts/
17    append_outcome.py
18    run_codex_step.sh
19    propose_improvement.py
20    open_pr.sh
21    weekly_tune.sh
22  examples/
23    outcomes.sample.jsonl
24    weekly-pr.md

1# 自己改善型アウトバウンドルール
2
3あなたは、成果からアウトバウンドシステムを改善します。
4
5厳格なルール:
6- メッセージを送信してはいけません。
7- 実際の人物をスクレイピングしたりエンリッチしたりしてはいけません。
8- セルフマージしてはいけません。
9- このリポジトリ内のファイルのみを編集してください。
10- 一度に 1 つの概念だけを変更してください。
11- すべての提案された変更について、memory/outcomes.jsonl からの成果を引用してください。
12- 変更が PR になる前に、evals/score.py を改善してください。
13- 評価が改善されない場合は、編集を元に戻して停止してください。
14
15許可される編集:
16- config/scoring.yaml
17- config/plays.yaml
18- prompts/*.md
19
20必要な出力:
21- 変更されたファイル
22- 各変更の理由
23- 変更前のスコア
24- 変更後のスコア
25- プルリクエストの概要

1signals:
2  competitor_comparison:
3    weight: 8
4    reason: "購入者が代替案を比較している"
5  implementation_page_visit:
6    weight: 6
7    reason: "購入者がこれをインストールできるか確認している"
8  job_repost:
9    weight: 5
10    reason: "ポジションがまだ空いており緊急性がある"
11  funding_event:
12    weight: 5
13    reason: "予算や権限が変更された可能性がある"
14  generic_download:
15    weight: 1
16    reason: "コンテンツへの関心、弱い購買意図"
17
18thresholds:
19  draft: 6
20  human_review: 10
21
22negative_signals:
23  student_research: -8
24  vendor_pitch: -6
25  competitor: -10

1{"date":"2026-07-01","account":"Northwind Finance","signal":"competitor_comparison","play":"migration_note","score":8,"outcome":"reply","reason":"asked for migration notes"}
2{"date":"2026-07-01","account":"Bluepeak Studio","signal":"generic_download","play":"resource_followup","score":1,"outcome":"no_reply","reason":"content-only intent"}
3{"date":"2026-07-02","account":"KiteOps","signal":"implementation_page_visit","play":"implementation_angle","score":6,"outcome":"reply","reason":"asked about implementation timeline"}
4{"date":"2026-07-02","account":"Atlas Recruiting","signal":"job_repost","play":"hiring_angle","score":5,"outcome":"bad_fit","reason":"student research request"}

1scripts/append_outcome.py を構築します。
2
3受け入れ:
4- date
5- account
6- signal
7- play
8- score
9- outcome: reply | meeting | no_reply | bad_fit | bounced
10- reason
11
12拒否:
13- フィールド不足
14- 未知の outcome
15- 空の reason
16- 未来の日付
17
18有効な行を memory/outcomes.jsonl に追加します。
19追加した行を出力します。

1cases:
2  - account: Northwind Finance
3    signals: [competitor_comparison, implementation_page_visit]
4    expected: human_review
5    note: "1 つのアカウントに対する 2 つの強いシグナル"
6
7  - account: Bluepeak Studio
8    signals: [generic_download]
9    expected: ignore
10    note: "コンテンツのみの意図"
11
12  - account: KiteOps
13    signals: [implementation_page_visit]
14    expected: draft
15    note: "実装意図はドラフトしきい値を超えるはず"
16
17  - account: Atlas Recruiting
18    signals: [job_repost, student_research]
19    expected: ignore
20    note: "ミスマッチマーカーがシグナルを打ち消す"

1evals/score.py を構築します。
2
3config/scoring.yaml と evals/fixtures.yaml を読み込みます。
4
5各ケースについて:
61. すべてのシグナルの重みを合計します。
72. ネガティブシグナルのペナルティを追加します。
83. アカウントをルーティングします:
9   - score >= thresholds.human_review => human_review
10   - score >= thresholds.draft => draft
11   - それ以外 => ignore
124. ルートと expected を比較します。
13
14各予測を出力します。
15最終的な精度を score=0.00 から score=1.00 で出力します。
16精度が 1.00 の場合のみ Exit 0 で終了します。

1Northwind Finance: predicted=human_review expected=human_review
2Bluepeak Studio: predicted=ignore expected=ignore
3KiteOps: predicted=ignore expected=draft
4Atlas Recruiting: predicted=ignore expected=ignore
5score=0.75

1あなたはアウトバウンドスコアリングシステムを改善します。
2
3読み込み:
4- AGENTS.md
5- config/scoring.yaml
6- memory/outcomes.jsonl
7- evals/fixtures.yaml
8
9あなたの仕事:
101. 変更すべきスコアリングルールを 1 つ見つけてください。
112. 理由は memory/outcomes.jsonl を引用しなければなりません。
123. config/scoring.yaml のみを変更してください。
134. python3 evals/score.py を実行してください。
145. スコアが改善された場合、変更を保持してください。
156. スコアが変わらないか低下した場合、変更を元に戻して停止してください。
16
17出力:
18- 変更された正確な行
19- それを引き起こした成果行
20- 変更前のスコア
21- 変更後のスコア
22- 変更が PR になるべきかどうか
23
24プロンプトを編集しないでください。
25新しいシグナルを追加しないでください。
26配信に触れないでください。

1scripts/run_codex_step.sh improve_scoring

1- implementation_page_visit: 4
2+ implementation_page_visit: 6

1Northwind Finance: predicted=human_review expected=human_review
2Bluepeak Studio: predicted=ignore expected=ignore
3KiteOps: predicted=draft expected=draft
4Atlas Recruiting: predicted=ignore expected=ignore
5score=1.00

1plays:
2  migration_note:
3    prompt_file: prompts/plays/migration_note.md
4    use_when:
5      - competitor_comparison
6    banned_lines:
7      - "関連するかもしれないと思いました"
8      - "簡単な質問"
9
10  implementation_angle:
11    prompt_file: prompts/plays/implementation_angle.md
12    use_when:
13      - implementation_page_visit
14    banned_lines:
15      - "私たちのソリューションをチェックしています"
16      - "ぜひお話ししたいです"

1あなたは 1 つのアウトバウンドプレイを改善します。
2
3読み込み:
4- AGENTS.md
5- config/plays.yaml
6- memory/outcomes.jsonl
7- 選択されたプレイのプロンプトファイル
8
9少なくとも 10 件の成果がある 1 つのプレイを選んでください。
10
11見つける:
12- ポジティブな成果に現れる行や構造
13- no_reply または bad_fit の成果に現れる行や構造
14- 禁止すべきフレーズ
15
16そのプレイのプロンプトに 1 つ小さな編集を加えてください。
17
18ルール:
19- スコアリングを変更しないでください。
20- 新しいプレイを作成しないでください。
21- 新しいチャネルを追加しないでください。
22- 成果行を引用してください。
23- 変更前と変更後の指示を書いてください。
24
25その後、コピー評価が存在すれば実行してください。
26コピー評価が存在しない場合は、PR を review_required として開いてください。

1このアウトバウンド改善のプルリクエストサマリーを書いてください。
2
3含める:
41. 何が変わったか。
52. なぜ変わったか、成果行を引用して。
63. 変更前のスコア。
74. 変更後のスコア。
85. 変更されたファイル。
96. リスク。
107. 人間のレビュアーが確認すべきこと。
11
12簡潔にしてください。
13変更がライブになったとは主張しないでください。

1#!/usr/bin/env bash
2set -euo pipefail
3
4branch="codex/weekly-tune-$(date +%Y-%m-%d)"
5
6git checkout -b "$branch"
7git add config prompts evals memory
8git commit -m "Codex weekly outbound tune"
9
10body="$(cat outputs/pr-summary.md)"
11
12python3 scripts/create_pr.py \
13  "$branch" \
14  "Codex weekly outbound tune" \
15  "$body"

1変更:
2- implementation_page_visit を 4 から 6 に引き上げました。
3
4理由:
5- KiteOps が実装ページの意図を持ち、実装のタイミングについて返信しました。
6- 以前のスコアはこのアカウントを ignore にルーティングしていました。
7
8変更前:
9- eval score 0.75
10
11変更後:
12- eval score 1.00
13
14レビュアー確認事項:
15- 実装意図が十分に具体的であることを確認してください。
16- 一般的なダウンロードは低く保ってください。
17- 実際の営業判断と一致する場合のみマージしてください。

1#!/usr/bin/env bash
2set -euo pipefail
3
4cd "$(dirname "$0")/.."
5
6python3 evals/score.py || true
7scripts/run_codex_step.sh improve_scoring
8python3 evals/score.py
9scripts/run_codex_step.sh pr_summary > outputs/pr-summary.md
10scripts/open_pr.sh

10 8 * * MON cd ~/codex-self-improving-outbound && scripts/weekly_tune.sh

1name: weekly-outbound-tune
2
3on:
4  schedule:
5    - cron: "0 8 * * 1"
6  workflow_dispatch:
7
8jobs:
9  tune:
10    runs-on: ubuntu-latest
11    steps:
12      - uses: actions/checkout@v4
13      - uses: actions/setup-python@v5
14        with:
15          python-version: "3.11"
16      - run: pip install -r requirements.txt
17      - run: python3 evals/score.py || true
18      - run: scripts/weekly_tune.sh

1git clone <repo>
2cd codex-self-improving-outbound
3python3 -m venv .venv
4source .venv/bin/activate
5pip install -r requirements.txt
6python3 evals/score.py
7python3 scripts/propose_improvement.py

1score=0.75
2changed config/scoring.yaml
3implementation_page_visit: 4 -> 6
4score=1.00
5open PR for human review