자율 코딩은 더 나은 프롬프트 작성에서 더 나은 제어 시스템으로 진화하고 있습니다. 중요한 변화는 엔지니어들이 에이전트를 목표, 평가자, 반복 루프, 아티팩트로 감싸서 사람이 타이핑을 멈춘 후에도 계속 작업할 수 있게 만드는 방법을 배우고 있다는 점입니다.
이는 대부분의 진지한 엔지니어링 작업이 긴 시간에 걸쳐 이루어지기 때문에 중요합니다. 모호한 요구사항, 숨겨진 제약 조건, 부분적인 실패, 변화하는 맥락, 반복적인 검증 등이 수반됩니다. 새로운 프런티어는 에이전트가 계획을 세우고, 실행하며, 작업을 확인하고, 실수로부터 복구하고, 사람의 지속적인 개입 없이도 계속 진전을 이룰 수 있도록 에이전트를 중심으로 시스템을 설계하는 것입니다.
이 글은 DAIR.AI Academy 세션: 자율 장기 실행 코딩 에이전트를 기반으로 작성되었습니다. 해당 세션에서는 Claude Code의 /goal 모드, 최신 /loop 명령어, 검증기, 아티팩트, 오케스트레이션 패턴을 실제 예제와 함께 다루었습니다. Codex 및 Claude Code와 협력하여 작성했습니다.
프롬프트에서 목표 설계로
Claude Code의 /goal 과 같은 기능의 핵심 아이디어는 간단합니다. 코딩 에이전트는 여전히 실행자 역할을 하지만, 사람이 더 이상 턴 방식으로 상호작용하지 않습니다. 대신, 사람이 원하는 최종 상태, 성공을 증명하는 데 필요한 증거, 위반해서는 안 되는 제약 조건, 그리고 가능한 경우 턴 수와 예산을 지정합니다.
이러한 목표는 더 긴 프롬프트라기보다 계약서에 가깝습니다. 약한 목표는 모델이 일찍 멈추거나, 지름길을 택하거나, 기록상으로는 그럴듯해 보이지만 실제 시스템에서는 실패하는 방식으로 성공을 재정의할 여지를 줍니다. 강력한 목표는 에이전트가 스스로 반복적으로 측정할 수 있는 타겟을 제공합니다.
여기서도 엔지니어링 판단이 중요합니다. 가장 좋은 목표는 모델이 추측했을 법한 도메인 지식을 인코딩합니다. 연구 실험의 경우, 목표는 타겟 벤치마크 점수, 홀드아웃 평가, 필요한 손실 곡선, 결과가 초기 기준선을 반드시 넘어야 한다는 규칙이 될 수 있습니다. UI 작업의 경우, 스크린샷 참조, 구체적인 레이아웃 제약 조건, 브라우저 검증 단계가 포함될 수 있습니다. 모델은 실행할 수 있지만, "완료"가 실제로 무엇을 의미하는지는 여전히 사람이 정의합니다.
평가자가 일급 구성 요소로 부상
장기 실행 에이전트에게는 목표 외에 두 번째 역할이 필요합니다. 그 평가자는 다른 코딩 에이전트, LLM 판사, 스크립트, 테스트 스위트, 벤치마크 하네스, 또는 이들의 조합이 될 수 있습니다. 핵심 설계 선택은 작업에 맞는 평가자를 매칭하는 것입니다. 성공 기준이 명확할 때는 결정론적 검사가 더 좋습니다. 타입 검사, 유닛 테스트, 린트 규칙, 통합 테스트, 벤치마크 스크립트는 조건을 명확하게 표현할 수 있을 때마다 사용해야 합니다.
성공 기준이 모호할 때는 에이전트 평가자가 유용해집니다. 스크립트는 테스트 통과 여부를 알려줄 수 있지만, 생성된 연구 보고서의 일관성, 구현이 논문을 충실히 따르는지 여부, UI가 디자인 의도와 일치하는지 여부는 쉽게 판단할 수 없습니다. 바로 이 지점에서 평가자는 언어, 판단력, 때로는 시각적 능력의 이점을 얻습니다.
실용적인 패턴은 결정론적 검사를 기본 바탕으로 삼고, 에이전트 평가를 상위 수준 검토로 사용하는 것입니다. 이 조합은 거짓 성공을 줄이면서도, 테스트 단정문에 깔끔하게 맞지 않는 작업에 대해서는 자율성을 허용합니다.
검증기가 신뢰의 경계를 정의
더 깊이 생각해보면, 자율성은 시스템이 신뢰할 수 있는 검증기를 가질 때만 작동합니다. 코딩 에이전트는 계획을 세우고, 기능을 구현하며, 작업이 완료되었다고 믿는 이유를 설명할 수 있지만, 그 설명을 증거로 취급해서는 안 됩니다. 증거는 에이전트가 쉽게 우회할 수 없는 외부 검사에서 비롯됩니다.
코드의 경우, 검증기는 테스트 스위트, 타입 검사기, 벤치마크, 브라우저 실행, 스크린샷 비교, 또는 재현 가능한 스크립트가 될 수 있습니다. 연구 작업의 경우, 홀드아웃 평가, 재현된 테이블, 손실 곡선, 또는 기준선을 개선하는 벤치마크 점수가 될 수 있습니다. 디자인 작업의 경우, 참조 스크린샷과 시각적 검토 단계가 될 수 있습니다. 검증기는 장기 실행 에이전트를 자신감 있는 텍스트 생성기에서 더 많은 시간을 맡길 수 있는 시스템으로 바꾸는 요소입니다.
대부분의 지름길은 이 경계에서 발생합니다. 검증기가 모호하면, 모델은 종종 작업의 가장 쉬운 해석을 충족시키려 합니다. 검증기가 너무 좁으면, 모델이 그것에 과적합하여 더 넓은 의도를 놓칠 수 있습니다. 따라서 좋은 자율 워크플로우는 계층화된 검증이 필요합니다. 저렴한 결정론적 검사가 기본적인 실패를 잡아내고, 상위 수준 검토가 판단이 중요한 실패를 잡아내는 방식입니다. 일부 최첨단 모델은 이미 어느 정도 검증을 수행할 수 있지만, 제 연구에 따르면 여전히 명백한 OOD(분포 외) 문제가 있습니다. 에이전트에 할당한 검증 작업이 훈련 분포를 벗어나면 모델이 상당히 어려움을 겪습니다.
검증기는 여전히 활발한 연구 분야이지만, 많은 기업이 이 분야에 막대한 투자를 시작할 것으로 예상합니다. 미세 조정된 검증기에 대한 개념은 기업에서도 수요가 매우 높습니다.
루프가 자율성을 지속 가능하게 만듦
목표는 에이전트에게 방향을 제시하지만, 루프는 작업을 지속하게 합니다. 모델이 실제 작업이 끝나기 전에 멈추는 경우가 많기 때문에 이 구분은 중요합니다. 모델은 턴 제한에 도달하거나, 자신감을 잃거나, 컨텍스트를 소진하거나, 부분적인 해결책으로 충분하다고 판단할 수 있습니다.
루프는 외부 제어 시스템입니다. 깨어나서 진행 상황을 검사하고, 검사를 실행하며, 결과를 목표와 비교하고, 목표가 달성되지 않았을 때 다음 지시와 함께 에이전트를 다시 보냅니다. 가장 간단한 형태로, 이것은 코딩 에이전트와 결정론적 조건을 사용하는 Ralph 루프 패턴입니다. 더 유연한 형태로, 루프는 진행 상황을 추론하고 다음에 무슨 일이 일어나야 할지 결정할 수 있는 평가자 에이전트를 포함합니다.
장기 실행 자율성은 일회성 지능의 연속적인 행위가 아니라, 제어 계층의 감독 하에 반복적인 노력으로 작동합니다. 에이전트는 여전히 실패할 수 있지만, 루프는 시스템이 실패를 인지하고, 조용히 승리를 선언하는 대신 계속 진행할 수 있는 방법을 제공합니다.
계획 수립은 전문성이 투입되는 지점
세션에서 가장 강력하게 제기된 주제 중 하나는 계획 수립이 여전히 중요하다는 점이었습니다. 최첨단 모델에 계획 생성을 요청할 수는 있지만, 자율 루프에 작업을 넘기기 전에 여전히 계획을 검사하고, 가정에 도전하며, 성공 기준을 더 명확하게 만들어야 합니다.
이는 유용한 업무 분담으로 이어집니다. 더 강력한 계획 수립 모델은 목표를 정의하고, 누락된 제약 조건을 식별하며, 평가를 구조화하는 데 도움을 줄 수 있습니다. 다른 실행 모델은 계획이 명확해지면 구현을 실행할 수 있습니다. 실제로, 이는 엔지니어가 "모델"을 단일 선택지로 생각하는 것을 중단해야 함을 의미합니다. 모델 선택은 아키텍처 결정이 됩니다.
어떤 모델은 더 나은 계획자입니다. 어떤 모델은 더 나은 실행자입니다. 어떤 모델은 더 저렴한 평가자입니다. 어떤 모델은 시각 기반 검토에 더 뛰어납니다. 좋은 오케스트레이터는 하나의 공급업체가 완벽한 코딩 에이전트 인터페이스를 제공하기를 기다리는 대신 이러한 역할을 자유롭게 교체할 수 있게 해줍니다.
시각적 아티팩트가 제어 표면이 됨
터미널 기록은 여러 에이전트가 실행 중일 때 확장되지 않습니다. 여러 세션이 병렬로 작업하기 시작하면, 원시 텍스트는 진행 상황을 이해하기에 좋지 않은 인터페이스가 됩니다.
라이브 아티팩트가 중요한 이유는 손실 곡선, 벤치마크 점수, 작업 상태, 스크린샷, 비용 추정치, 최근 결정 사항을 보여주는 대시보드가 인간에게 자율성을 감독할 훨씬 더 나은 방법을 제공하기 때문입니다. 아티팩트는 사후에 생성된 보고서가 아니라, 개입 시기를 결정하기 위한 제어 표면이 됩니다.
가장 유용한 패턴은 스토리지와 프레젠테이션을 분리하는 것입니다. Markdown 또는 저장소는 지속적인 증거, 로그, 노트, 계획, 결과를 저장할 수 있습니다. HTML 아티팩트는 그 상태를 시각적이고 상호작용 가능한 무언가로 렌더링할 수 있습니다. 에이전트는 Markdown을 검색하고, 인간은 아티팩트를 모니터링할 수 있습니다.
UI 및 제품 작업에서 시각적 단서는 특히 강력합니다. 스크린샷 참조는 산문보다 더 정확하게 디자인 의도를 전달할 수 있고, 시각적 능력을 갖춘 평가자는 참조와 구현을 비교할 수 있습니다. 이는 에이전트가 요청된 구성 요소를 기술적으로 구현했지만, 간격, 계층 구조, 정렬 또는 제품의 느낌을 놓치는 일반적인 실패 모드를 줄여줍니다.
세션 마이닝으로 사용 내역을 메모리로 전환
또 다른 중요한 통찰은 과거 에이전트 세션이 워크플로우 데이터의 풍부한 원천이라는 점입니다. 에이전트가 같은 방식으로 반복적으로 실패하거나, 같은 검사를 실행하는 것을 잊거나, 잘못된 경로를 사용하거나, 같은 고장 난 명령어를 재시도한다면, 그 패턴이 로그에 묻혀 있어서는 안 됩니다.
세션 마이닝은 그러한 기록을 운영 규칙으로 전환합니다. 에이전트는 지난 30일간의 작업을 스캔하고, 반복되는 실패 모드를 찾아내며, 프로젝트 지침, 저장소 학습 내용, 또는 에이전트 규칙 업데이트를 제안할 수 있습니다. 이것이 팀이 모든 실패를 수동으로 기억하지 않고도 점진적으로 하네스를 개선할 수 있는 방법입니다.
목표는 처음부터 모델을 훈련시키지 않고 로컬 환경을 더 똑똑하게 만드는 것입니다. 에이전트 명령어 파일의 작은 규칙 하나가 특히 프로젝트에 특화된 규칙일 때, 미래 세션에서 반복되는 실패를 방지할 수 있습니다.
실용적인 운영 모델
AI 엔지니어에게 떠오르는 워크플로우는 다음과 같습니다.
- 전체 자율 실행을 시작하기 전에 작고 저렴한 하위 집합으로 시작하세요.
- 측정 가능한 성공 기준, 명시적인 제약 조건, 그리고 (가능한 경우) 턴 또는 시간 예산을 포함한 목표를 작성하세요.
- 실행자와 평가자를 분리하여 구현과 판단이라는 두 역할이 하나로 합쳐지지 않도록 하세요.
- 장기 실행 루프가 시작되기 전에 외부 검증기를 정의하세요.
- 가능한 모든 곳에서 결정론적 검사를 사용하고, 모호한 기준에 대해서는 에이전트 검토를 추가하세요.
- 로그, 스크린샷, 벤치마크 곡선, 또는 변경된 파일과 같은 증거 아티팩트를 요구하세요.
- 과거 세션을 마이닝하고 반복된 교훈을 프로젝트 지침으로 승격시키세요.
이것이 코딩 에이전트를 사용하는 것과 자율 코딩 시스템을 엔지니어링하는 것의 차이입니다. 하나는 대화를 제공합니다. 다른 하나는 하네스를 제공합니다.
여전히 깨지는 부분들
이 모든 것이 어려운 문제들을 제거하지는 않습니다. 에이전트는 여전히 지름길을 택합니다. 여전히 일찍 멈춥니다. 여전히 완료율을 과대평가합니다. 특히 최근 논문, 익숙하지 않은 벤치마크, 또는 훈련 분포 외부의 시스템에 대해 자신감 있지만 허술한 계획을 생성합니다.
단순히 에이전트를 더 신뢰한다고 해서 이 문제가 해결되지는 않습니다. 더 나은 제어 시스템이 해결할 것입니다. 목표, 루프, 평가자, 결정론적 검사, 시각적 아티팩트, 세션 메모리는 모두 자율성을 관찰 가능하고 수정 가능하게 만드는 방법입니다.
방향은 명확합니다. 코딩 에이전트의 미래는 더 강력한 모델을 중심으로 한 더 나은 오케스트레이션에 달려 있으며, 엔지니어는 에이전트가 몇 시간 또는 며칠 동안 안전하게 실행되고 검증 가능한 작업을 계속 생성할 수 있는 조건을 설계합니다.
