Codex 기반의 자가 개선형 아웃바운드 시스템 구축 방법

1codex-self-improving-outbound/
2  AGENTS.md
3  README.md
4  config/
5    scoring.yaml
6    plays.yaml
7  prompts/
8    improve_scoring.md
9    improve_prompt.md
10    pr_summary.md
11  memory/
12    outcomes.jsonl
13  evals/
14    fixtures.yaml
15    score.py
16  scripts/
17    append_outcome.py
18    run_codex_step.sh
19    propose_improvement.py
20    open_pr.sh
21    weekly_tune.sh
22  examples/
23    outcomes.sample.jsonl
24    weekly-pr.md

1# Self-Improving Outbound Rules
2
3당신은 결과로부터 아웃바운드 시스템을 개선합니다.
4
5엄격한 규칙:
6- 절대 메시지를 보내지 마세요.
7- 절대 실제 사람을 스크래핑하거나 인리치하지 마세요.
8- 절대 스스로 병합하지 마세요.
9- 이 repo 안의 파일만 편집하세요.
10- 한 번에 하나의 개념만 변경하세요.
11- 모든 제안된 변경 사항에 대해 memory/outcomes.jsonl의 결과를 인용하세요.
12- 변경 사항이 PR이 되기 전에 evals/score.py를 개선하세요.
13- 평가가 개선되지 않으면 편집을 되돌리고 중단하세요.
14
15허용된 편집:
16- config/scoring.yaml
17- config/plays.yaml
18- prompts/*.md
19
20필수 출력:
21- 변경된 파일
22- 각 변경 사항에 대한 이유
23- 이전 점수
24- 이후 점수
25- 풀 리퀘스트 요약

1signals:
2  competitor_comparison:
3    weight: 8
4    reason: "buyer is comparing alternatives"
5  implementation_page_visit:
6    weight: 6
7    reason: "buyer is checking whether this can be installed"
8  job_repost:
9    weight: 5
10    reason: "role is still open and urgent"
11  funding_event:
12    weight: 5
13    reason: "budget or mandate may have changed"
14  generic_download:
15    weight: 1
16    reason: "content interest, weak buying intent"
17
18thresholds:
19  draft: 6
20  human_review: 10
21
22negative_signals:
23  student_research: -8
24  vendor_pitch: -6
25  competitor: -10

1{"date":"2026-07-01","account":"Northwind Finance","signal":"competitor_comparison","play":"migration_note","score":8,"outcome":"reply","reason":"asked for migration notes"}
2{"date":"2026-07-01","account":"Bluepeak Studio","signal":"generic_download","play":"resource_followup","score":1,"outcome":"no_reply","reason":"content-only intent"}
3{"date":"2026-07-02","account":"KiteOps","signal":"implementation_page_visit","play":"implementation_angle","score":6,"outcome":"reply","reason":"asked about implementation timeline"}
4{"date":"2026-07-02","account":"Atlas Recruiting","signal":"job_repost","play":"hiring_angle","score":5,"outcome":"bad_fit","reason":"student research request"}

1scripts/append_outcome.py를 빌드하세요.
2
3다음을 허용합니다:
4- date
5- account
6- signal
7- play
8- score
9- outcome: reply | meeting | no_reply | bad_fit | bounced
10- reason
11
12다음을 거부합니다:
13- 누락된 필드
14- 알 수 없는 outcome
15- 빈 reason
16- 미래 날짜
17
18유효한 행을 memory/outcomes.jsonl에 추가하세요.
19추가된 행을 출력하세요.

1cases:
2  - account: Northwind Finance
3    signals: [competitor_comparison, implementation_page_visit]
4    expected: human_review
5    note: "two strong signals on one account"
6
7  - account: Bluepeak Studio
8    signals: [generic_download]
9    expected: ignore
10    note: "content-only intent"
11
12  - account: KiteOps
13    signals: [implementation_page_visit]
14    expected: draft
15    note: "implementation intent should clear draft threshold"
16
17  - account: Atlas Recruiting
18    signals: [job_repost, student_research]
19    expected: ignore
20    note: "bad-fit marker cancels the signal"

1evals/score.py를 빌드하세요.
2
3config/scoring.yaml과 evals/fixtures.yaml을 읽으세요.
4
5각 케이스에 대해:
61. 모든 신호의 가중치를 합산하세요.
72. 부정 신호 패널티를 추가하세요.
83. 계정을 라우팅하세요:
9   - score >= thresholds.human_review => human_review
10   - score >= thresholds.draft => draft
11   - 그 외 => ignore
124. 라우트를 expected와 비교하세요.
13
14각 예측을 출력하세요.
15최종 정확도를 score=0.00에서 score=1.00으로 출력하세요.
16정확도가 1.00일 때만 Exit 0을 출력하세요.

1Northwind Finance: predicted=human_review expected=human_review
2Bluepeak Studio: predicted=ignore expected=ignore
3KiteOps: predicted=ignore expected=draft
4Atlas Recruiting: predicted=ignore expected=ignore
5score=0.75

1당신은 아웃바운드 점수 시스템을 개선합니다.
2
3다음을 읽으세요:
4- AGENTS.md
5- config/scoring.yaml
6- memory/outcomes.jsonl
7- evals/fixtures.yaml
8
9당신의 임무:
101. 변경되어야 할 하나의 점수 규칙을 찾으세요.
112. 이유는 memory/outcomes.jsonl을 인용해야 합니다.
123. config/scoring.yaml만 변경하세요.
134. python3 evals/score.py를 실행하세요.
145. 점수가 개선되면 변경 사항을 유지하세요.
156. 점수가 그대로이거나 떨어지면 변경을 되돌리고 중단하세요.
16
17출력:
18- 변경된 정확한 라인
19- 그 원인이 된 결과 행
20- 이전 점수
21- 이후 점수
22- 변경 사항이 PR이 되어야 하는지 여부
23
24prompts를 편집하지 마세요.
25새로운 신호를 추가하지 마세요.
26전송을 건드리지 마세요.

1scripts/run_codex_step.sh improve_scoring

1- implementation_page_visit: 4
2+ implementation_page_visit: 6

1Northwind Finance: predicted=human_review expected=human_review
2Bluepeak Studio: predicted=ignore expected=ignore
3KiteOps: predicted=draft expected=draft
4Atlas Recruiting: predicted=ignore expected=ignore
5score=1.00

1plays:
2  migration_note:
3    prompt_file: prompts/plays/migration_note.md
4    use_when:
5      - competitor_comparison
6    banned_lines:
7      - "thought this might be relevant"
8      - "quick question"
9
10  implementation_angle:
11    prompt_file: prompts/plays/implementation_angle.md
12    use_when:
13      - implementation_page_visit
14    banned_lines:
15      - "checking out our solution"
16      - "would love to chat"

1당신은 하나의 아웃바운드 플레이를 개선합니다.
2
3다음을 읽으세요:
4- AGENTS.md
5- config/plays.yaml
6- memory/outcomes.jsonl
7- 선택한 플레이의 프롬프트 파일
8
9최소 10개의 결과가 있는 하나의 플레이를 선택하세요.
10
11다음을 찾으세요:
12- 긍정적인 결과에 나타난 라인 또는 구조
13- no_reply 또는 bad_fit 결과에 나타난 라인 또는 구조
14- 금지되어야 할 문구
15
16해당 플레이의 프롬프트에 하나의 작은 편집을 하세요.
17
18규칙:
19- 점수를 변경하지 마세요.
20- 새 플레이를 만들지 마세요.
21- 새 채널을 추가하지 마세요.
22- 결과 행을 인용하세요.
23- 이전 및 이후 지침을 작성하세요.
24
25그런 다음 카피 eval이 있으면 실행하세요.
26카피 eval이 없으면 PR을 review_required로 여세요.

1이 아웃바운드 개선 사항에 대한 풀 리퀘스트 요약을 작성하세요.
2
3다음을 포함하세요:
41. 무엇이 변경되었나요.
52. 왜 변경되었나요, 결과 행을 인용하여.
63. 이전 점수.
74. 이후 점수.
85. 변경된 파일.
96. 위험.
107. 사람 검토자가 확인해야 할 사항.
11
12짧게 유지하세요.
13변경 사항이 적용되었다고 주장하지 마세요.

1#!/usr/bin/env bash
2set -euo pipefail
3
4branch="codex/weekly-tune-$(date +%Y-%m-%d)"
5
6git checkout -b "$branch"
7git add config prompts evals memory
8git commit -m "Codex weekly outbound tune"
9
10body="$(cat outputs/pr-summary.md)"
11
12python3 scripts/create_pr.py \
13  "$branch" \
14  "Codex weekly outbound tune" \
15  "$body"

1변경 사항:
2- implementation_page_visit을 4에서 6으로 상향 조정했습니다.
3
4이유:
5- KiteOps가 구현 페이지 의도를 보였고 구현 일정에 대해 회신했습니다.
6- 이전 점수는 이 계정을 ignore로 라우팅했습니다.
7
8이전:
9- eval score 0.75
10
11이후:
12- eval score 1.00
13
14검토자 확인:
15- 구현 의도가 충분히 구체적인지 확인하세요.
16- 일반 다운로드는 낮게 유지하세요.
17- 실제 영업 판단과 일치하는 경우에만 병합하세요.

1#!/usr/bin/env bash
2set -euo pipefail
3
4cd "$(dirname "$0")/.."
5
6python3 evals/score.py || true
7scripts/run_codex_step.sh improve_scoring
8python3 evals/score.py
9scripts/run_codex_step.sh pr_summary > outputs/pr-summary.md
10scripts/open_pr.sh

10 8 * * MON cd ~/codex-self-improving-outbound && scripts/weekly_tune.sh

1name: weekly-outbound-tune
2
3on:
4  schedule:
5    - cron: "0 8 * * 1"
6  workflow_dispatch:
7
8jobs:
9  tune:
10    runs-on: ubuntu-latest
11    steps:
12      - uses: actions/checkout@v4
13      - uses: actions/setup-python@v5
14        with:
15          python-version: "3.11"
16      - run: pip install -r requirements.txt
17      - run: python3 evals/score.py || true
18      - run: scripts/weekly_tune.sh

1git clone <repo>
2cd codex-self-improving-outbound
3python3 -m venv .venv
4source .venv/bin/activate
5pip install -r requirements.txt
6python3 evals/score.py
7python3 scripts/propose_improvement.py

1score=0.75
2changed config/scoring.yaml
3implementation_page_visit: 4 -> 6
4score=1.00
5open PR for human review