지금부터 Claude Code, Codex, OpenCode 등 어떤 도구를 사용하든 일관되게 최고의 결과를 얻는 방법을 단계별로 알려드리겠습니다...
왜냐하면 도구는 단지 에이전트 명령어를 입력하는 앱, 즉 당신이 앉는 조종석에 불과하기 때문입니다.
본능은 더 나은 모델을 찾아 집어넣는 것입니다 (FABLE 5 사용 ㅋㅋ)
하지만 진짜 차이는 다른 곳에 있습니다. 바로 하나의 모델에만 멈춰 있다는 사실 자체에요.
그리고 타이밍 때문에 이 실수는 예전보다 더 큰 비용을 초래합니다... 최고의 단일 모델은 더 이상 믿을 수 없는 움직이는 표적이 되었기 때문입니다:
- Fable 5는 약 일주일 동안 돌아왔다가 너무 비싸져서 사용할 수 없게 됩니다
- Mythos 5는 정부 승인을 받은 소수의 기업으로만 제한됩니다
- GPT-5.6 Sol은 약 20개의 승인된 회사에만 제공되었고 다른 곳은 불가능합니다
따라서 매달 "최고"인 모델에 전체 운영을 걸면, 그 모델이 제한될 때마다 손해를 보게 됩니다.
그래서 해결책은 프론티어 LLM들의 병합입니다. 하나의 모델이 모든 작업을 수행하는 대신, 여러 모델이 함께 작업을 수행하는 것입니다.
이것이 평균적인 결과와 최고의 결과를 가르는 요소이며, 지금 제가 모든 프로젝트에서 가장 먼저 설정하는 것입니다.
이 도구들을 최대한 활용하고 실제로 돈을 버는 방법을 배우고 싶다면, 실시간 AI 운영 커뮤니티가 바로 그 목적을 위해 만들어졌습니다: weeklyaiops.com
느리고 고통스러운 왕복 작업
일반적인 프로젝트가 어떻게 진행되는지 보세요. 병목 현상이 정확히 중간에 있습니다:
하나의 도구를 열고 작업을 할당합니다
그런 다음 그 계획을 가져와 두 번째 모델에 붙여넣고 "이게 맞나요?"라고 묻습니다
두 번째 모델이 허점을 찾아내면, 그 내용을 다시 첫 번째 모델로 가져갑니다
당신은 오후 내내 메신저가 되어 서로 대화할 수 없는 두 모델 사이에서 컨텍스트를 전달합니다
솔직히 말해서, 이 왕복 작업은 정말 짜증납니다...
저도 이 루프를 너무 잘 압니다. Claude가 Codex의 계획을 확인하고, 허점을 다시 반대 방향으로 전달하고, 하루가 두 모델 사이에서 메모를 전달하는 데 사라져 버립니다.
AI 병합이 당신이 가장 좋아하는 모델을 이기는 이유
두 번째 모델이 첫 번째 모델이 놓친 것을 계속 찾아내는 데는 이유가 있습니다...
작업을 검토하는 모델은 작업을 만든 모델의 맹점을 공유합니다. 왜냐하면 같은 곳에서 실패하기 때문입니다.
따라서 하나의 모델에게 스스로를 확인하라고 요청하면, 정확히 그 모델이 작성했을 버그에 대해 "괜찮아 보이는데요"라는 자신감 있는 답변을 받게 됩니다.
협의체(Council)는 더 나은 프롬프트가 아닌 구조적으로 이 문제를 해결합니다. 서로 다른 모델이 서로의 약점을 보완하기 때문입니다.
그리고 이에 대한 증거는 실제 논문으로 뒷받침됩니다:
Sakana의 연구팀은 노트북에서 실행될 만큼 작은 코디네이터를 구축했습니다. 이 모델은 당신의 질문에 전혀 답변하지 않습니다.
질문을 읽습니다
각 부분을 어떤 대형 모델이 처리해야 할지 결정합니다
작업을 분배합니다
그들은 이 코디네이터를 GPT-5, Gemini, Claude에 연결했고, 단독으로 세 모델을 모두 이겼습니다...
그런 다음 최상위 모델을 코디네이터 역할로 교체해 보았는데, 결과는 더 나빴습니다 ㅋㅋ
따라서 지휘자는 당신이 가진 가장 강력한 모델일 필요는 없지만, 문제를 읽고 해당 부분에 가장 적합한 모델에게 라우팅할 수 있어야 합니다.
세 가지 역할과 건너뛰어지는 역할
코디네이터는 각 모델에게 한 번에 하나의 작업만 할당합니다:
사상가(thinker): 작업을 분해하고, 계획을 세우고, 허점을 찾습니다
작업자(worker): 작업, 초안, 코드, 숫자 등 결과물을 실제로 만듭니다
검증자(verifier): 결과를 평가하고 "출시" 또는 "수정 필요"를 결정합니다
검증자는 종종 건너뛰어지지만, 가장 중요한 역할입니다.
모델이 무언가를 생성했다고 해서 작업이 끝난 것이 아닙니다... 검증자가 승인할 때 작업이 끝난 것입니다.
이 단일 규칙, 즉 명확한 "완료" 조건이 루프가 끝나는 것과 영원히 빙글빙글 도는 것의 전부입니다.
왕복 작업을 협의체에 넘기세요
이제 코디네이터를 추가하는 것은 관리해야 할 또 다른 계층처럼 들릴 수 있습니다.
하지만 실제로는 그 반대입니다. 제거되는 계층은 바로 당신 자신입니다.
따라서 방법은 간단합니다. 조정 작업 자체를 위임하는 것입니다. 더 이상 메신저가 되지 말고 코디네이터가 당신을 대신해 사상가, 작업자, 검증자 루프를 실행하도록 하는 것입니다.
저는 지금 Fugu를 사용합니다 (sakana.ai/fugu). 명확히 말씀드리자면, 이는 협찬이 아닙니다. 그냥 제가 좋아해서 사용하는 것입니다.
이것은 그 연구의 제품화된 버전입니다. 다른 모델을 가리키는 것과 같은 방식으로 도구를 Fugu에 연결하면, 단일 요청 뒤에서 협의체를 실행합니다.
이것이 무엇인지 솔직하게 말씀드리겠습니다. 중요한 점이니까요.
출시된 지 며칠 되지 않았고, 가짜가 아닌 실제 협의체를 실행하기 때문에 시간이 걸리며, 검증자로서 가장 강력합니다. 출시 전에 작업을 혹평하는 역할입니다.
$20으로 시작할 수 있으며, 7월 말 이전에 시작하면 두 번째 달은 무료입니다.
저는 그것을 맹목적으로 신뢰하지 않습니다. 협의체 패턴을 신뢰하며, 이는 제가 찾은 이 패턴을 관리하지 않고 실행하는 가장 쉬운 방법입니다.
이제 어떤 에이전트 도구로든 일관되게 최고의 결과를 얻기 위한 단계별 워크플로우를 살펴보겠습니다:
시작과 끝에 협의체를 실행하세요
저는 모든 프로젝트에서 두 가지 순간, 즉 맨 처음과 결과물을 전달할 때 협의체를 사용합니다.
실제 작업을 상상해보세요. 뉴스레터 발행, 리드 목록 구축, 랜딩 페이지 배포 등.
1. 먼저 인터뷰하세요 - 어떤 작업이든 시작하기 전에 에이전트가 당신에 대해 심층 인터뷰를 하도록 하세요 (matt의 grill-me 스킬은 에이전트가 모든 것에 대해 질문하게 만듭니다). 이 인터뷰의 깊이가 이후 모든 것의 한계를 결정합니다.
2. 협의체를 소집하세요 - 계획을 수립하기 위해 코디네이터가 다중 모델 부분을 처리하므로 더 이상 도구 간에 붙여넣기를 할 필요가 없습니다.
3. 루프를 정의하세요 - 목표와 중단 조건을 미리 설정하여 모든 단계를 지켜보지 않아도 실행될 수 있도록 합니다.
4. 역할별로 위임하세요 - 올바른 작업을 올바른 곳으로 보내고 서브 에이전트를 활용하세요 (서브 에이전트는 주 에이전트가 작업을 넘겨주는 도우미 에이전트입니다).
5. 전달 시 혹평하세요 - 작업이 완료된 것처럼 보이면, 나가기 전에 협의체를 통해 다시 보내서 낱낱이 분석하도록 합니다.
동일한 루프, 두 끝. 시작 시 계획, 완료 시 혹평. 이것이 전체 엔진이며, 제가 신뢰할 수 있는 것을 얼마나 빨리 출시할 수 있는지 완전히 바꿔 놓았습니다.
협의체는 엔진이고, 설정이 날카롭게 유지합니다
엔진은 주변 기계만큼만 좋습니다...
따라서 협의체의 각 에이전트가 최고의 결과를 내도록 유지하는 여섯 가지 방법이 있습니다. 복잡한 것은 하나도 없습니다.
1. 자신만의 스킬을 구축하고, 라이브러리를 다운로드하지 마세요
스킬은 에이전트가 재사용할 수 있는 저장된 명령어 세트입니다. 에이전트가 따르는 레시피와 같습니다 (예제가 포함된 마크다운 파일에 불과합니다...).
유혹은 다른 사람이 게시한 거대한 스킬 라이브러리를 가져와서 그냥 실행하는 것입니다.
저는 그렇게 하지 않겠습니다. 공개된 스킬의 약 3분의 1은 보안 결함을 가지고 있습니다... 더 심각한 경우도 있고요 ㅋㅋ
그리고 깨끗한 스킬조차도 다른 사람의 컨텍스트일 뿐, 당신의 것이 아닙니다. 스킬은 당신이 직접 그 스킬이 해결하는 문제에 부딪힌 후에야 도움이 됩니다.
그 전에는 에이전트의 메모리를 채우는 잡음일 뿐입니다.
따라서 제 조언은 이렇습니다. 실제로 필요한 몇 가지 스킬만 직접 실패한 실행에서 추출하여 구축하세요. 거기에 진정한 우위가 있습니다.
2. 기본적으로 MCP 서버가 아닌 작은 CLI를 사용하세요
먼저 두 가지 용어를 설명하자면, MCP는 에이전트에 추가 도구를 연결하는 방법이고, CLI는 텍스트 창에서 실행하는 작은 명령어입니다.
반사적으로 모든 것에 MCP를 연결하려고 합니다. 각 MCP는 첫 번째 질문을 하기도 전에 전체 명령어 시트를 에이전트의 메모리에 로드합니다.
이러한 도구 설명은 처음에 100,000단어 이상의 메모리를 소비하여 실제 작업 공간을 잠식할 수 있습니다.
따라서 일상적인 작업에는 대신 작은 CLI를 사용하세요. 더 가볍고, 에이전트는 이미 명령어 실행 방법을 알고 있으며, 출력은 메모리를 막히게 하는 대신 파일에 저장됩니다.
printing-press (printingpress.dev)라는 도구는 단일 프롬프트로 모든 서비스에 대한 CLI를 작성해 줍니다... 마음껏 활용하세요.
MCP는 진정으로 필요한 작업, 즉 공유 로그인, 많은 사용자, 계속 열려 있어야 하는 실시간 연결을 위해 아껴두세요.
원칙은 CLI 우선이지, CLI 전용이 아닙니다.
3. 명령어 파일을 가볍게 유지하세요
에이전트는 모든 단일 작업 전에 명령어 파일(보통 AGENTS.md 또는 CLAUDE.md)을 읽습니다.
생각나는 모든 것을 채워 넣고 싶은 충동이 들지만, 에이전트는 더 적게 따르게 됩니다.
모델은 약 150~200개의 명령어를 안정적으로 따르다가 그 이후로는 놓치기 시작합니다.
100줄 미만으로 유지하세요. 그냥 더 잘 작동합니다.
4. 컨텍스트를 정리하고, 메모리는 파일에 보관하세요
컨텍스트 윈도우는 에이전트의 단기 기억이며, 채워질수록 점점 더 멍청해집니다.
Claude Opus 4.8이 좋은 예입니다... 이는 예외적인 모델이지만, 300-400k 토큰에 도달하면 100% 컨텍스트를 지워야 합니다. 압축(COMPACTING)을 사용하지 마세요.
따라서 자주 지우고, 중요한 메모리는 대신 파일에 보관하세요.
learnings.md 파일을 만들어 에이전트가 세션 시작 시 읽고 세션 종료 시 업데이트하도록 하세요. 매번, 아무것도 변경되지 않은 것 같아도 말이죠.
각 커밋(작업의 저장된 체크포인트) 후에 해당 노트를 업데이트하도록 하세요.
지속적인 규칙은 명령어 파일에, 학습한 내용은 learnings 파일에 보관하세요. 매 실행 후 규칙 파일을 편집하고 있다면, 잘못된 것을 넣은 것입니다.
저는 /before-clear라는 스킬을 직접 만들었습니다. 이 스킬은 단순히 프로젝트에 체크포인트, 즉 에이전트가 먼저 읽는 임시 파일을 생성합니다. 매우 간단한 할 일 목록, 마지막 세션에서发生了什么 일과 다음으로 가장 시급한 작업에 대한 간략한 요약이 포함되어 있습니다.
저는 세션 간에 중요한 컨텍스트를 거의 잃지 않습니다.
5. 적은 수의 규칙을, 각각 명확하게 작성하세요
짧은 명확한 규칙 목록이 긴 영리한 규칙 목록보다 훨씬 좋습니다.
규칙 파일이 길어지면 규칙들이 서로 충돌하기 시작하고, 에이전트는 어느 규칙이 우선인지 추측해야 합니다.
새 직원에게 말하듯이 각 규칙을 작성하세요. 한 줄, 하나의 의미, 해석의 여지가 없어야 합니다.
규칙이 명확하면 에이전트는 따릅니다. 모호하면 에이전트는 즉흥적으로 대처하고, 즉흥성은 정확히 당신의 결과물이 엉뚱한 방향으로 흘러가는 지점입니다.
6. 무거운 작업은 서브 에이전트에 위임하세요
지저분하고 비용이 많이 드는 작업, 특히 브라우저를 다루는 작업은 서브 에이전트에 넘기세요.
주 에이전트에서 브라우저를 구동하면 스크린샷만으로도 엄청난 양의 컨텍스트를 소모할 수 있습니다.
동일한 작업을 서브 에이전트에 넘기면 "완료, 여기 요약입니다"라는 한두 줄로 돌아옵니다.
주 에이전트는 지휘자로 남고, 도우미들이 작업을 수행하며, 주 메모리는 깨끗하게 유지됩니다.
다시 한 번 협의체 아이디어입니다. 한 단계 아래에서 모든 작업을 직접 수행하는 대신 작업을 조정하는 것입니다.
전체 운영 체제, 한 블록으로
최고의 모델은 계속 제한되므로, 하나의 모델이 기반이 될 수 없습니다
조정 작업을 협의체에 넘기세요: 사상가가 계획하고, 작업자가 구축하고, 검증자가 승인합니다
검증자가 중단 조건입니다. 검증자가 말할 때까지 작업은 완료되지 않습니다
협의체를 두 번 실행하세요: 시작 시 계획, 전달 시 혹평
저는 Fugu를 사용하여 실행합니다. $20으로 시도 가능하며, 협찬이 아닙니다. 초기 단계임을 솔직히 알려드립니다
그런 다음 각 에이전트를 날카롭게 유지하세요:
자신만의 스킬을 구축하고, 라이브러리를 다운로드하지 마세요
CLI 우선, 진정으로 필요할 때만 MCP 사용
명령어 파일은 100줄 미만으로
컨텍스트를 자주 지우고, 메모리는 파일에 보관
적은 수의 규칙, 각각 명확하게
무거운 작업은 서브 에이전트에 위임
그 외의 모든 것은 순수한 최적화이며, 소프트웨어 엔지니어가 아니라면 아마 눈치채지 못할 것입니다.
이것이 Fable 5 유무에 관계없이 성능을 발휘하는 운영 체제를 구축하는 방법입니다...
어쨌든, 저는 세계 최고의 AI 커뮤니티를 구축하고 있습니다. 함께 하시겠습니까?
