안녕하세요, leopardracer 입니다!
매주 좋은 콘텐츠 아이디어를 찾는 데 몇 시간씩 쓰던 때가 있었습니다. Reddit은 한 탭, 뉴스는 다른 탭, arXiv는 또 다른 탭, Obsidian 노트에는 이것저것 붙여넣고 조각들이 어떻게 연결되는지 기억하려고 애썼죠. 각 AI 검색은 몇 초면 끝났지만, 나머지 시간은 제가 접착제 역할을 하느라 다 써버렸습니다.
더 나빴던 점은 탭과 채팅을 오가며 집중력을 너무 많이 소모했다는 겁니다. 전환할 때마다 집중이 깨졌고, 다시 시작할 때마다 작업이 더 무겁게 느껴졌습니다.
그땐 몰랐지만, 프롬프트를 과도하게 최적화하는 대신 워크플로우를 만들어야 했습니다. 가장 좋은 방법을 찾는 데 시간이 좀 걸렸고, 이제 여러분께 프롬프트를 워크플로우로 전환하는 방법을 공유할 준비가 되었습니다.
이 글에서 다룰 내용:
- 프롬프트 습관이 왜 규모가 커지면 깨지는가
- 첫 번째 워크플로우 후보를 찾는 방법
- 긴 대화에서 분기점(seam)을 찾는 방법
- 맥락을 앞으로 전달하는 핸드오프 패턴
AI 채팅 탭 간에 출력물을 복사-붙여넣기하고 있다면, AI가 처리해야 할 조정 작업을 여러분이 하고 있는 겁니다. 해결책은 프롬프트를 워크플로우로 전환하는 것입니다. 각 단계가 파일에 쓰고 다음 단계가 읽는 방식이죠. 여러분이 직접 맥락을 옮길 필요 없이 맥락이 자동으로 전달됩니다. 진짜 결정이 필요한 지점에서만 멈추면 됩니다.
프롬프팅이 더 이상 통하지 않을 때
거의 모든 사람이 AI를 같은 방식으로 시작합니다. 질문을 입력하고, 답변을 받고, 어딘가에 복사-붙여넣기하고, 반복합니다. 저도 AI를 사용한 첫 해를 그렇게 보냈습니다. 그리고 이해합니다. 각 상호작용이 눈에 보이는 결과를 주기 때문에 생산적으로 느껴지니까요.
그러다 어느 순간, AI를 관리하는 데 AI가 절약해주는 시간보다 더 많은 시간을 쓰고 있다는 걸 깨닫게 됩니다. 단계 사이를 복사하는 것도 여러분이고, 3단계가 1단계에서 무엇이 필요한지 기억하는 것도 여러분입니다.
2025년 10월 arXiv에 게재된 연구에 따르면, 관련 정보가 긴 맥락에 포함되어 있을 때 모든 관련 없는 토큰이 마스킹되어 있더라도 LLM의 정확도가 크게 떨어집니다.
프롬프트 엔지니어링 블로그와 강좌는 여전히 올바른 단어가 모든 것을 해결해 줄 것이라는 생각을 판매하고 있습니다. 하지만 그들은 잘못된 계층을 최적화하고 있습니다. 여러분은 채팅 창을 통해 파이프라인을 실행하려 하고 있는데, 아무리 단어를 다듬어도 그 사실은 바뀌지 않습니다.
프롬프팅에서 한계에 부딪혔다면, 그것은 아키텍처 문제입니다.
첫 번째 AI 워크플로우를 찾는 방법
더 나아가기 전에, 이걸 시도해보세요. AI로 했던 마지막 반복적인 작업을 생각해보세요. 45분이 걸리고 30분째에는 비명을 지르고 싶었던 그 작업 말입니다. 이제 스스로에게 물어보세요:
- 단계 사이를 복사-붙여넣기 했나요?
- 맥락이 계속 오염되어서 여러 개의 채팅 창을 열어야 했나요?
- 3단계가 1단계에서 무엇이 필요한지 기억해야 했나요?
- 각 단계에서 AI가 좋은 출력물을 만들었지만, 최종 결과물은 평범했나요?
이 중 하나라도 '예'라고 답했다면, 이미 워크플로우 후보가 있는 겁니다. 지금까지 수동으로 조정 작업을 하고 있었던 것입니다.
지금 바로 사용할 수 있는 프롬프트를 알려드리겠습니다. 다음 긴 AI 대화가 끝난 후, 작업을 마친 시점에 이 프롬프트를 붙여넣으세요:
1방금 나눈 이 대화를 되돌아봐 줘. 내가 처음에 사용한 초기 프롬프트를 아래에 붙여넣을게. 이 작업이 재사용 가능한 스킬이나 워크플로우로 전환될 수 있는지 분석해 줘.23구체적으로:41. 내가 수행한 단계들이 각 단계가 다음 단계에 필요한 출력을 생성하는 순서로 구조화될 수 있나?52. 맥락을 앞으로 전달해야 하는 핸드오프 지점이 있나?63. 이 작업이 하나의 긴 대화로 실행되는 것보다, 깔끔한 맥락을 가진 개별 단계로 나누는 것이 더 나을까?74. 이게 워크플로우가 된다면 입력, 지침, 출력, 체크포인트는 어떻게 생겼을까?89내가 사용한 초기 프롬프트는 다음과 같아: [여기에 초기 프롬프트 붙여넣기]1011이 작업이 워크플로우에 적합한 후보인지, 그리고 그렇다면 단계가 어떻게 생겼을지 개략적으로 알려줘.
다음 반복적인 작업 후에 이 프롬프트를 실행해보세요. 생각보다 이미 워크플로우 형태의 작업을 수동으로 하고 있을 수도 있습니다.
이 방법은 Hermes, Claude Code, Codex, Cowork 또는 다른 AI 대화 도구를 사용하든 상관없이 작동합니다. 패턴은 동일합니다. 도구는 중요하지 않습니다. 구조가 중요합니다.
긴 대화에서 분기점을 찾는 방법
긴 대화를 워크플로우로 전환하는 것은 현재 프로세스의 분기점(seam)을 찾는 데서 시작됩니다.
긴 AI 대화를 할 때, 기어를 전환했던 순간을 찾아보세요. "자, 이제 X를 해보자"라고 말하며 새로운 정신적 맥락을 시작했던 순간. 채팅 초반의 내용을 복사해서 새 요청에 붙여넣었던 순간. AI가 잊어버려서 현재 작업 중인 내용을 다시 알려줘야 했던 순간. 그런 분기점이 바로 범위 확장(scope creep)이 발생하는 곳입니다.
그것들이 바로 여러분의 분기점입니다. 각 분기점은 워크플로우의 잠재적 단계입니다.
제가 한계에 부딪혔던 순간은 콘텐츠 발상 프로젝트를 진행할 때였습니다. 뉴스레터 기사를 위한 흥미로운 앵글을 찾아야 했고, 여러 소스에서 자료를 가져와야 했습니다. Reddit 스레드는 특정 문제에 대한 불만을 표면화했고, 뉴스 기사는 신흥 도구를 다루었으며, arXiv 논문은 새로운 기능을 암시했습니다.
저는 수동으로 시작했습니다. Reddit 게시물을 문서에 복사-붙여넣기하고, 뉴스 헤드라인을 긁어 모으고, arXiv 검색을 실행하고 초록을 저장했습니다. 각 소스는 맥락 창이 계속 오염되었기 때문에 자체 채팅 세션에 있었습니다. Reddit을 다 마쳤을 때는 뉴스 검색에서 무엇을 찾았는지 잊어버렸습니다.
그래서 각 소스에 대해 개별 스킬을 만들었습니다. Reddit 리서치용 스킬 하나, 뉴스 스크래핑용 스킬 하나, arXiv 논문용 스킬 하나. 각 스킬은 자체적으로는 잘 작동했지만, 여전히 제가 그들 사이를 조정해야 했습니다. Reddit 스킬을 실행하고 출력을 저장하고, 뉴스 스킬을 실행하고 출력을 저장하고, arXiv 스킬을 실행하고 출력을 저장했습니다. 그런 다음 수동으로 세 가지를 모두 결합하여 최종 아이디어 목록을 만들었습니다.
저는 에이전트의 조정 작업을 수동으로 하고 있었던 겁니다. AI는 각 단계를 잘 수행할 수 있었습니다. 핸드오프가 문제였습니다. 제가 미들웨어였던 것입니다.
맥락을 올바르게 전달하는 방법
워크플로우는 각 단계가 다음 단계에 필요한 것을 생성하는 일련의 과정입니다. 워크플로우를 프롬프팅과 구분짓는 것은 맥락이 여러분이 수동으로 옮기는 대신 자동으로 전달된다는 점입니다.
2024년 12월에 발표되어 가장 권위 있는 자료로 널리 인용되는 Anthropic의 "Building Effective Agents" 가이드는 명확한 구분을 제시합니다. 워크플로우는 LLM과 도구가 사전 정의된 코드 경로를 통해 조율되는 시스템입니다. 에이전트는 LLM이 동적으로 자신의 프로세스를 지시하는 시스템입니다.
비개발자에게 워크플로우는 최적의 지점입니다. 경로를 정의하면 AI가 각 지점에서 작업을 수행합니다.
Anthropic은 다섯 가지 워크플로우 패턴을 설명합니다. 쉽게 풀어 쓰면:
프롬프트 체이닝은 조립 라인처럼 작동합니다. 1단계의 출력이 2단계의 입력이 됩니다. 각 단계는 단순하고 집중적으로 유지됩니다.
라우팅은 다양한 입력을 다른 경로로 분류합니다. 편지를 올바른 우편번호로 보내는 우편 분류기와 같습니다.
병렬화는 여러 작업을 동시에 실행합니다. 연구자가 한 명 대신 세 명 있는 것과 같습니다.
오케스트레이터-워커는 작업을 분해하고 워커 에이전트에 위임하는 관리자 에이전트를 사용합니다.
평가자-최적화자는 한 에이전트가 작업을 수행하고 다른 에이전트가 확인합니다. 첫 번째 에이전트는 피드백에 따라 수정합니다.
저는 모든 것을 하나로 묶는 파일을 핸드오프 파일이라고 부릅니다. 각 단계는 작업 내용을 기록하여 다음 단계가 추측할 필요가 없도록 합니다. 형식은 원칙보다 덜 중요합니다. 마크다운 파일, Google Doc, 구조화된 텍스트 블록 등이 될 수 있습니다. 중요한 것은 각 단계가 다음 단계가 읽을 수 있는 것을 생성한다는 점입니다.
단계 간 맥락을 유지하기 위해 모든 것을 시도해봤습니다. 인메모리 변수는 세션이 종료되면 사라지고, 데이터베이스 항목은 설정과 유지 관리가 필요하며, 공유 상태 파일은 두 단계가 동시에 쓰면 손상됩니다.
Obsidian의 마크다운 파일이 최종 선택된 이유는 지루하고 안정적이기 때문입니다.
워크플로우의 각 단계는 출력을 마크다운 파일에 쓰고, 다음 단계는 그 파일을 읽습니다. 파일은 워크플로우를 반영하는 폴더 구조에 위치합니다. 문제가 발생하면 파일을 열어 3단계가 정확히 무엇을 생성했는지 확인할 수 있습니다. 체인을 따라 역방향으로 문제를 추적합니다.
이는 예상치 못한 이점도 제공했습니다. 각 하위 에이전트나 단계가 수행한 작업을 추적하고, 생성된 특정 파일에 대한 링크를 제공합니다. 최종 출력에서 뭔가 수상한 점이 들리면 중간 파일을 열고 드리프트가 시작된 지점을 찾습니다.
마크다운에는 실용적인 장점도 있습니다. 일반 텍스트는 어디서나 작동합니다. 파일은 변환 없이 시스템 간에 이동할 수 있습니다. 변경 사항은 시간이 지남에 따라 버전 관리가 가능합니다. 모든 것이 제가 이미 노트에 사용하는 Obsidian에서 깔끔하게 렌더링됩니다.
데이터베이스나 공유 상태 메커니즘에 맥락을 저장하면 복잡성이 추가되고, 설정이 필요하며, 종속성이 생깁니다. 마크다운 파일은 폴더와 텍스트 편집기 외에는 아무것도 필요하지 않습니다.
각 단계는 작업 내용을 기록합니다. 다음 단계는 이전 단계가 기록한 내용을 읽습니다. 맥락은 메모리가 아닌 파일을 통해 전달됩니다.
AI 워크플로우를 단계별로 구축하기
이것이 실제로 어떻게 보이는지 보여드리겠습니다. 제 콘텐츠 발상 워크플로우를 예시로 사용하지만, 구조는 모든 반복 작업에 적용됩니다.
이 워크플로우는 네 단계로 구성됩니다. 각 단계는 이전 단계의 출력 파일을 읽고 자체 출력 파일에 씁니다.
1단계: Reddit 리서치
입력: 검색할 주제 또는 키워드.
기능: 해당 주제와 관련된 문제에 대해 사람들이 불평하는 Reddit 스레드를 검색합니다.
출력: reddit-findings.md (스레드 제목, URL, 주요 불만 사항 포함)
2단계: 뉴스 스크래핑
입력: 동일한 주제.
기능: 해당 주제와 관련된 신흥 도구 또는 트렌드에 대한 기사를 뉴스 소스에서 검색합니다.
출력: news-findings.md (헤드라인, URL, 요약 포함)
3단계: arXiv 검색
입력: 동일한 주제.
기능: 해당 주제와 관련된 새로운 기능을 암시하는 arXiv 논문을 검색합니다.
출력: arxiv-findings.md (논문 제목, 초록, 관련성 메모 포함)
4단계: 종합
입력: 1-3단계의 세 파일 모두.
기능: 세 파일을 모두 읽고 기사 앵글 아이디어 목록으로 종합합니다.
출력: idea-angles.md (각각 연구에 기반한 5-10개의 잠재적 기사 주제 포함)
각 단계는 정확히 필요한 것만 담긴 깔끔한 맥락을 받습니다. 아무것도 묻히지 않습니다. 아무것도 잊히지 않습니다.
이 워크플로우의 첫 번째 시도는 지저분했습니다. 바탕화면에 파일, 노트 앱의 체크리스트, 그리고 많은 복사-붙여넣기가 그것을 유지했습니다. 하지만 구조화되어 있었습니다. 각 단계는 명확한 입력과 명확한 출력을 가졌습니다. 에이전트는 세 단계 전의 어떤 것도 기억할 필요가 없었습니다. 정확히 필요한 것만 주었기 때문입니다.
결국 전체 파이프라인을 처리하는 하나의 통합 스킬을 만들었습니다. Reddit, 뉴스 소스, arXiv에서 순차적으로 가져오고, 각 연구 결과 배치를 별도의 마크다운 파일에 기록한 다음, 세 가지를 모두 최종 아이디어 목록으로 종합합니다. 스킬은 제가 단계 사이에 아무것도 복사하지 않고 위에서 아래로 실행됩니다.
프롬프팅 vs. 워크플로우: 동일한 작업
콘텐츠 발상은 프롬프트 방식과 워크플로우 방식에서 완전히 다르게 보입니다.
프롬프트 방식: 채팅을 열고 AI에게 특정 주제에 대한 불만 사항을 Reddit에서 검색해 달라고 요청합니다. 목록을 받습니다. 그 목록을 문서에 복사합니다. 새 채팅을 열고 같은 주제에 대한 뉴스 기사를 스크래핑해 달라고 요청합니다. 헤드라인과 요약을 받습니다. 그것들을 문서에 복사합니다. 또 다른 채팅을 열고 관련 논문을 arXiv에서 검색해 달라고 요청합니다. 초록을 받습니다. 그것들도 복사합니다.
다 끝나면 문서에 세 개의 개별 텍스트 덩어리가 생깁니다. 이제 그것들을 아이디어 앵글로 종합해야 합니다. 모든 것을 새 채팅에 붙여넣고 아이디어를 요청합니다. AI가 목록을 생성하지만, 너무 일반적입니다. Reddit 불만 사항의 뉘앙스는 결합된 텍스트에 묻혀 사라졌고, arXiv 연구 결과는 5,000단어 프롬프트의 맨 아래에 있어서 놓쳤습니다.
워크플로우 방식: Reddit을 검색하고 결과를 reddit-findings.md 파일에 기록하는 스킬을 실행합니다. 스킬은 이어서 뉴스 소스를 검색하고 news-findings.md에 기록합니다. 그런 다음 arXiv를 검색하고 arxiv-findings.md에 기록합니다. 각 파일은 깔끔하고 집중되어 있습니다.
마지막 단계는 세 파일을 모두 읽고 idea-angles.md로 종합합니다. 각 단계는 정확히 필요한 것만 담긴 깔끔한 맥락을 받습니다. 아무것도 묻히거나 잊히지 않습니다.
AWS의 Clare Liguori 연구는 3,000회의 평가 실행에서 에이전트 행동을 안내하는 다섯 가지 접근 방식을 테스트했습니다. 단순한 프롬프트 지침은 82.5%의 정확도를 기록했으며, 이는 대략 5번의 상호작용 중 1번이 실패했음을 의미합니다. 그녀가 그녀가 스티어링 훅(steering hooks)이라고 부르는 구조화된 피드백 루프를 추가했을 때, 정확도는 600회 실행에서 100%에 도달했습니다.
더 나은 구조가 차이를 만들었지, 더 나은 프롬프트가 아닙니다.
저는 직접 다양한 모델이 실제 Hermes 워크플로우를 어떻게 처리하는지 비교하면서 이를 테스트했습니다. 벤치마크에서 인상적으로 보였던 모델들은 단순한 단계를 지나치게 복잡하게 생각하거나 형식 제약 조건을 무시하여 구조화된 워크플로우에서 종종 실패했습니다. 구조는 원시적인 능력보다 더 중요합니다.
인간이 여전히 확인해야 하는 지점
모든 워크플로우에는 체크포인트가 필요하지만, 모든 단계에 체크포인트가 필요한 것은 아닙니다. 모든 곳에 검토 지점을 추가하면 워크플로우가 일련의 중단으로 변합니다.
저는 결정 게이트(decision gate)를 사용합니다. 진짜 선택을 해야 하는 지점에서만 멈춥니다. 어떤 앵글을 추구할지. 어떤 소스를 우선시할지. 맞지 않는 섹션을 잘라낼지.
출력물이 괜찮고 결정이 필요 없다면 멈추지 않습니다. 워크플로우는 여러분의 판단 없이는 진행할 수 없는 지점에 도달할 때까지 실행됩니다.
결정 게이트는 출력이 여러분의 의도와 일치하는지 확인합니다. AI는 문법적으로 정확하고 잘 조사된 콘텐츠를 생성하지만 여전히 잘못된 방향으로 갈 수 있습니다. 결정 게이트는 다음 단계가 잘못된 가정 위에 구축되기 전에 이를 포착합니다.
제 텔레그램 채널에서 Hermes 워크플로우에 승인 게이트를 추가하는 방법에 대한 전체 가이드를 작성했습니다. 기술적 세부 사항을 원하신다면 참고하세요. 게이트는 여러분의 OK 없이 외부 작업이 실행되는 것을 차단하여 평판을 보호하고, 시스템 변경 전에 확인을 요구하여 데이터를 보호하며, 승인 없이 임계값 이상으로 지출되는 것을 차단하여 지갑을 보호합니다.
대부분의 워크플로우에서는 출력물이 공개되거나 되돌릴 수 없게 되는 시점에 하나의 게이트가 필요합니다. 콘텐츠 워크플로우는 최종 초안이 게시되기 전, 개요 다음에 게이트가 있을 수 있습니다. 연구 워크플로우는 종합 후, 연구 결과에 따라 행동하기 전에 게이트가 있을 수 있습니다.
결정 게이트는 AI가 실행을 처리하는 동안 여러분이 방향을 계속 통제할 수 있게 해주는 지점입니다.
첫 번째 워크플로우를 시작할 곳
하나의 반복 작업을 선택하세요. 가장 복잡한 작업이 아닙니다. 매주 수행하는 작업 중 45분이 걸리고 30분째에는 비명을 지르고 싶은 그 작업을 선택하세요. 그것이 첫 번째 워크플로우입니다.
제 첫 번째 워크플로우는 커피를 마시기 전에 작업과 기사를 가져오는 아침 브리핑이었습니다. 두 단계였습니다. Asana에서 읽고, 출력 형식을 지정하고, 전달합니다. 오후에 구축할 수 있을 만큼 간단하고, 구축한 이후 매일 실행할 만큼 유용했습니다.
Hermes가 처음이라면, 복잡한 것을 시도하기 전에 이와 같은 두 단계 워크플로우부터 시작하세요.
최소 실행 가능한 워크플로우에는 네 가지 부분이 있습니다: 입력(무엇이 들어가는가), 지침(에이전트가 무엇을 하는가), 출력(무엇이 나오는가), 체크포인트(어디서 확인하는가). 소프트웨어가 필요하지 않습니다. 코드가 필요하지 않습니다. 파일이 있는 폴더만 있으면 됩니다.
"Building Effective Agents"에서 Anthropic의 조언은 간단하게 시작하고 필요할 때만 복잡성을 추가하라는 것입니다. 그들은 프레임워크나 복잡한 아키텍처로 시작하는 것을 명시적으로 경고합니다. 두 단계로 시작하세요. 그것들을 안정적으로 만드세요. 그런 다음 세 번째를 추가하세요.
Confluent의 AI 워크플로우 가이드도 같은 요점을 제시합니다. 간단한 솔루션이 시작하기에 가장 좋은 경우가 많습니다. 간단한 프롬프트 엔지니어링으로 시작하는 것은 완벽하지 않을 수 있지만 첫 번째 시도로는 충분히 잘 작동합니다. 한계에 부딪히면 구조를 추가하세요. 선제적으로 구조를 추가하지 마세요.
지루함이 영리함을 이깁니다. 첫 번째 워크플로우는 부끄러울 정도로 간단해야 합니다. 파일 핸드오프와 인간 확인이 있는 두 단계 프로세스. 그게 전부입니다. AI 워크플로우에서 가치를 얻는 사람들은 지루한 워크플로우를 구축하고 50번 실행했습니다. 두 번 실행한 인상적인 워크플로우를 구축한 사람들은 아닙니다.
대부분의 AI 생산성 조언은 더 나은 프롬프트를 작성하라고 말합니다. 더 나은 핸드오프를 설계하는 것이 실제 수익이 있는 곳입니다. 각 단계의 프롬프트는 수신하는 맥락이 깔끔하다면 평범할 수 있습니다. 부풀려진 채팅 스레드에서의 훌륭한 프롬프트는 여전히 평범한 출력을 생성할 것입니다.
AI가 처리해야 할 조정 작업을 여러분이 하고 있다는 것을 인식하는 것이 전체적인 전환입니다. 패턴을 한 번 보면, 다시는 보지 않을 수 없습니다. 모든 반복 작업이 구조화의 대상이 됩니다. 모든 수동 핸드오프가 설계 문제가 됩니다.
프롬프팅에서 한계에 부딪혔다면, 그것은 아키텍처 문제입니다. 파이프라인을 구축하세요. 맥락이 흐르게 두세요. 중요한 결정에 집중하세요.
이 글이 AI 워크플로우에 대한 생각을 바꿨다면, @leopardracer를 팔로우하여 더 많은 콘텐츠를 확인하고 제 텔레그램 채널에 참여하세요: https://t.me/+ygATQAt9sUM1N2U6
