상위 모델이 하위 모델을 "빙의"하게 만드는 데 가장 중요한 것은 단 한 가지입니다.
바로 이것입니다:
Codex와 "claude -p"를 사용한 제3자 평가
궁극적으로 가장 중요한 것은 독립적인 AI를 사용하여 Claude Fable 5와 Opus 4.8 간의 관점과 품질 차이를 언어화하는 것입니다.
*참고: claude -p를 사용하면 해당 세션 내에서 별도의 독립적인 Claude 인스턴스를 호출할 수 있습니다.
방법은 먼저 Fable 5와 Opus 4.8 모두에서 결과를 생성한 다음, codex와 claude -p를 사용하여 제3자 평가를 수행하는 것입니다. 그런 다음 Opus 4.8 쪽의 CLAUDE.md를 수정하거나 작업별 skills를 추가하여 출력 품질의 차이를 메웁니다.
예를 들어, 노트 기사 작성 작업에서 (이 작업이 Fable 5에게는 과할 수도 있지만 ㅋㅋ) Fable 5와 Opus 4.8 간의 차이를 메우기 위해 다음과 같은 CLAUDE.md 개선 사항과 skills를 추가했습니다.
CLAUDE.md 개선
1# 작업 규칙2- 시작하기 전에, 이 결과물에 대한 "수용 기준"을 기계적으로 검증 가능한 방식으로 나열하세요 (글쓰기 스타일 규칙, 길이, 금지 사항, 사용하지 말아야 할 구성 요소). 나열할 수 없는 모호한 점이 있으면 글을 쓰지 말고 질문하세요.3- 결과물을 제출하기 전에 각 수용 기준을 하나씩 확인하여 자체 검증하세요. 위반 사항이 발견되면 제출 전에 수정하세요.4- 제출물 끝에 "검증 보고서"를 첨부하세요. 확인된 항목에 대해서는 증거(관련 부분, 개수)를 제공하고, 확인되지 않은 항목에 대해서는 솔직하게 "미확인"이라고 명시하세요.5- 지시받지 않은 작업(주제 변경, 길이 크게 초과, 요청되지 않은 형식 추가)은 수행하지 마세요.6- 지시 사항에 대해 두 가지 이상의 해석이 가능한 경우, 조용히 선택하지 말고 나열하여 확인하세요.7- 결과물의 가장 취약한 점을 최소 한 가지 이상 구체적으로 식별하고, 이를 수정하거나 수정할 수 없는 이유를 설명하세요.
작업별 Skills 추가
1---2name: article-self-review3description: 기사를 제출하기 전에 실행할 자체 검증 절차입니다. 기사 유형의 결과물을 출력하기 전에 항상 사용하세요.4---5# 기사 자체 검증 절차 (제출 전 순서대로 실행)61. 프롬프트의 "금지 사항" 및 "거부 예시"에 있는 각 항목과 기사를 비교하고, 일치하는 문장을 다시 작성하세요.72. "사용된 구성 요소 메모"와 비교하여 구조, 모티프, 언어 습관 또는 마무리 패턴이 재사용되지 않았는지 확인하세요.83. 기계적 개수 확인: 쉼표가 3개 이상인 문장 수 (의도적인 긴 문장 하나를 제외하고는 0이어야 함) / 펀치라인 수 (최대 1개) / 조사로 끝나는 조각 수 (0이어야 함) / "w" 사용 빈도 (최대 2회).94. 성과나 배경의 숫자가 페르소나 설정과 모순되지 않는지 확인하세요.105. 수정 후, 검증 결과 요약(항목, 결과, 수정된 부분)을 끝에 첨부하여 기사를 제출하세요.
제3자 평가의 구체적인 방법
예를 들어, Fable 5와 Opus 4.8이 같은 주제로 노트 기사를 작성하게 합니다. Fable 5의 "모델"을 10점으로 고정하고, codex와 claude -p가 평가하도록 합니다.
세 가지 평가 포인트가 있습니다:
- 기사로 읽을 수 있는가?
- AI가 작성 후 스스로 확인했는가?
- 확인할 수 없는 부분을 솔직하게 보고했는가?
그런 다음 피드백을 CLAUDE.md와 Skills에 반영합니다. 이 루프를 몇 번만 실행하면 됩니다.
그 결과, 원본 Opus 4.8은 총 4점을 받았습니다. 기사 자체는 7점으로 괜찮았습니다. 하지만 확인을 거의 수행하지 않아 자체 검증에서 3점, 정직성에서 2점을 받았습니다.
CLAUDE.md 추가 후:
점수가 4/10에서 8/10으로 뛰었습니다.
초안에서 "물론, 유료로."라는 조사로 끝나는 조각을 발견하여 "물론, 유료로 제공됩니다."로 수정했습니다. 또한 Python을 사용하여 문자 수를 측정하고 본문이 838자라고 보고했습니다.
이것은 간단한 예시이지만, 코딩 및 기타 작업에서도 동일합니다.
궁극적으로,
"빙의"를 위해 하는 모든 일은 제3자 평가를 통해 Fable과 Opus의 차이를 언어화하고 이를 CLAUDE.md와 Skills에 추가하는 것뿐입니다.
7월 8일부터는 "빙의된 Opus"로 대량 생산이 충분합니다.
강화된 "빙의된 Claude Opus 4.8"을 사용하여 최소한의 노력으로 수익을 창출하는 방법을 고정 게시물에 요약했습니다. 관심 있으시면 확인해 보세요.
