"Claude 에게 물어보고, 답변을 복사한 다음, 탭을 닫는다." "이해한 것 같지만, 다른 사람에게 설명할 수 있을 만큼 깊이 이해하지는 못한다."
리서치를 할 때마다 이런 일이 반복된다면, 그것은 Claude 의 성능이 부족해서가 아니라, 단 하나의 질문으로 모든 것을 끝내려고 하기 때문일 가능성이 높습니다.
저도 오랫동안 그랬습니다. 검색창 대용으로 사용하고 첫 번째 답변만 보고 탭을 닫곤 했죠.
나중에는 결론이 무엇인지조차 기억나지 않았습니다. 훌륭한 파트너를 단순한 빠른 사전처럼 사용하고 있었던 겁니다.
제게 전환점이 된 것은 스탠포드 대학에서 발표한 STORM 이라는 리서치 시스템의 개념이었습니다.
STORM 은 논문을 통해, 단일 관점이 아닌 다양한 관점에서 리서치를 진행했을 때 훨씬 더 높은 품질의 아티클을 생성할 수 있음을 입증했습니다.
구체적으로, 전문가들이 "체계적으로 잘 구성되었다"고 평가한 아티클의 비율은 절대적으로 25% 포인트 더 높았고, 주제의 폭은 10% 포인트 더 넓었습니다 (arXiv:2402.14207).
이러한 "다중 관점 질문" 방식을 특별한 소프트웨어를 설치할 필요 없이, Claude 에게 네 개의 프롬프트를 순서대로 붙여넣기만 하면 따라 할 수 있습니다.
아래에 네 개의 프롬프트를 모두 준비했습니다.
이 글을 다 읽을 때쯤이면, Claude 를 "가끔 쓰는 검색 대체 도구"에서 "5분 만에 모든 핵심 포인트를 찾아내는 리서치 파트너"로 바꿔줄, 복사해서 바로 사용할 수 있는 네 개의 프롬프트를 갖게 될 것입니다.
관련 아티클: Claude Code Textbook - Basics
https://note.com/nobel/n/n7d7a422f828f
STORM 이란 무엇인가?
먼저, 원천 자료에 대해 간략히 설명드리겠습니다.
STORM 은 스탠포드 OVAL Lab (Open Virtual Assistant Lab)에서 만든 리서치 시스템으로, 주제가 주어지면 자동으로 인용을 포함한 장문의 아티클을 작성합니다.
이름은 Synthesis of Topic Outlines through Retrieval and Multi-perspective Question Asking 의 약자이며, 국제 자연어 처리 학회인 NAACL 2024 에서 발표되었습니다 (arXiv:2402.14207).
코드는 GitHub 에서 MIT 라이선스로 제공되며, 현재 기준 28,000 개 이상의 스타를 받았습니다. 브라우저에서 바로 사용해 볼 수 있는 라이브 버전도 있습니다 (storm.genie.stanford.edu). 현재 70,000 명 이상의 사용자가 있다고 알려져 있습니다.
주제를 입력하면, 백그라운드에서 웹을 검색하며 인용을 포함한 아티클을 작성하는 과정을 볼 수 있습니다. 출처 링크가 포함된 장문의 텍스트를 즉시 원한다면 라이브 버전을 사용하는 것이 더 빠릅니다. 이 글에서 소개하는 것은 그런 완전 자동화 방식이 아니라, STORM 의 핵심 개념인 "다중 관점 질문"을 평소 사용하는 Claude 대화에서 흉내 내는 방법입니다.
STORM 의 핵심은 바로 글쓰기를 시작하지 않는다는 점입니다. "사전 리서치" 단계를 세 단계로 나눕니다: (1) 주제에 대한 가능한 관점 식별, (2) 해당 관점을 가진 작성자가 전문가에게 질문하는 대화 시뮬레이션, (3) 수집된 정보를 개요로 정리. 논문에 따르면, 리서치 자동화의 핵심은 "좋은 질문을 자동으로 만들어낼 수 있는지 여부"이며, 단순히 AI 에게 "질문을 해봐"라고 요청하는 것은 효과가 없다고 합니다. 그래서 먼저 여러 관점을 준비하여 폭과 깊이를 확보하는 것입니다.
범위를 명확히 하는 것이 중요합니다. STORM 은 "사전 리서치를 돕는" 시스템입니다. 공식 README 에는 출력물이 아직 출판에 적합한 품질이 아니며 상당한 편집이 필요하지만, 경험 많은 Wikipedia 편집자에게는 사전 리서치 단계에서 유용하다고 명시되어 있습니다. 즉, 여기서 소개하는 것은 "Claude 가 완벽한 아티클을 뱉어내는 마법 같은 기술"이 아니라, "인간이 판단을 내리기 전에 Claude 가 5분 만에 모든 논의 포인트를 식별하도록 하는 템플릿"입니다.
"단일 질문"이 실패하는 이유
Claude 에게 "[주제]에 대해 알려줘"라고 물으면, 대개는 다수의 의견을 얻습니다. 가장 흔한 프레임워크, 피상적인 요약이죠. 안전하고 나쁘지 않지만, 깊이는 없습니다.
하지만 어떤 단일 주제에 대해서도, 사람들은 서로 다른 것을 봅니다. 예를 들어, 실무자, 연구자, 회의론자, 경제학자, 역사학자에게 "원격 근무가 생산성을 높이는가?"라고 묻는다면, 답변은 완전히 다를 것입니다. 실무자는 현장의 현실을, 회의론자는 지지자들이 무시하는 사실을, 경제학자는 누가 이익을 보는지를 봅니다. 이것이 바로 박사 과정 학생이 하는 일입니다. 단 하나의 질문이 아니라 동시에 여러 질문을 설정하는 것입니다.
STORM 논문은 이러한 차이를 수치로 보여주었습니다. 다중 관점 질문을 설정하여 생성된 아티클은 기본 방법(먼저 개요를 결정한 다음 검색 결과로 채우는 일반적인 방식)에 비해 구성도에서 25% 포인트, 범위에서 10% 포인트 더 높았습니다. 이것이 STORM 의 핵심 발견입니다: "관점을 늘리면 단일 질문으로는 절대 볼 수 없는 사각지대가 드러난다."
그리고 이 다중 관점 질문의 개념은 특별한 소프트웨어 없이도 재현할 수 있습니다. 여기서부터가 핵심입니다.
Claude 에게 네 개의 프롬프트를 순서대로 보내어 다음과 같은 흐름을 만듭니다:
(1) 5가지 관점에서 스캔
(2) 모순 매핑
(3) 통합
(4) 자체 감사
프롬프트 1: 5가지 관점에서 스캔하기
이 방법의 핵심입니다. 아래 프롬프트를 Claude 에 붙여넣고, 첫 줄의 주제만 자신의 것으로 바꾸면 됩니다.
1[주제]에 대해 깊이 이해하고 싶습니다.25명의 전문가가 되어 각자의 관점에서 분석해 주세요.341. 실무자: 이 일을 매일 처리하는 사람.5 학자들이 종종 간과하는 현장의 현실은 무엇인가요?62. 학자: 이 분야를 수년간 연구해 온 사람.7 동료 검토를 거친 증거는 실제로 무엇을 보여주나요?8 상식과 충돌하는 부분은 어디인가요?93. 회의론자: 주류 의견이 틀렸다고 믿는 사람.10 가장 강력한 반론은 무엇인가요?11 지지자들이 편리하게 무시하고 있는 사실은 무엇인가요?124. 경제적 시각: 돈의 흐름을 쫓는 사람.13 현재의 서사에서 누가 이익을 보고 있나요?14 어떤 이해관계가 연구나 정보를 왜곡하고 있나요?155. 역사적 시각: 과거의 유사한 패턴을 목격한 사람.16 역사적 유사점은 무엇인가요?17 그 결과는 어땠나요?1819각 관점에 대해 다음을 제공해 주세요:20- 2문장으로 된 핵심 주장21- 이를 뒷받침하는 가장 강력한 증거22- 오직 이 관점만이 제공할 수 있고 다른 관점에서는 얻을 수 없는 통찰력 하나
돌아오는 것은 동일한 주제에 대한 다섯 가지 다른 해석입니다. 실무자는 현실을, 회의론자는 전제를 흔들고, 경제학자는 이해관계를, 역사학자는 패턴을 가져옵니다. 60초의 작업으로 단일 질문이 놓칠 수 있는 논의 포인트들을 정렬할 수 있습니다.
오늘의 한 가지 행동: 현재 궁금한 주제를 골라 이 프롬프트의 첫 줄에 넣어보세요. 다섯 가지 목소리를 정렬하는 것만으로도, 지금까지 한 가지 관점에서만 바라보고 있었다는 것을 깨닫게 될 것입니다.
프롬프트 2: 모순 매핑하기
다음으로, Claude 에게 다섯 가지 목소리가 충돌하는 지점을 찾게 하세요. 의견이 부딪히는 곳에 진정한 이해가 있습니다.
1위의 5가지 관점을 바탕으로 모순점을 정리해 주세요.231. 두 개 이상의 관점이 직접적으로 충돌하는 지점은 어디인가요?4 각 충돌에 대해, 경쟁하는 구체적인 주장을 나열해 주세요.52. 어떤 관점이 가장 강력한 증거를 가지고 있나요?6 어떤 관점이 가장 약한가요? 그 이유는 무엇인가요?73. 만약 답변된다면 가장 큰 모순을 해결할 수 있는 "단 하나의 질문"은 무엇인가요?84. 모든 관점이 동의하는 것은 무엇인가요?9 (반대자들조차 동의하므로, 이것은 확실할 가능성이 높습니다.)105. 어떤 관점도 언급하지 않은 주제는 무엇인가요?11 (이것이 바로 해당 분야 전체의 사각지대입니다. 종종 가장 가치 있는 부분이죠.)
돌아오는 것은 전문가들이 어디서, 왜 의견이 다른지에 대한 지도입니다. 대부분의 사람들은 이 단계를 건너뜁니다. 하지만 이것이 피상적인 이해와 진정한 이해 사이의 갈림길입니다. 모두가 동의하는 포인트는 아마도 정확할 것입니다. 아무도 언급하지 않는 포인트는 해당 분야의 공백입니다.
오늘의 한 가지 행동: 프롬프트 1과 동일한 대화에서 이것을 붙여넣기만 하면 됩니다. "모두가 동의한 포인트"와 "아무도 언급하지 않은 포인트"라는 두 줄만으로도 노트에 보관할 가치가 있습니다.
프롬프트 3: 하나의 브리핑으로 통합하기
이제 Claude 에게 지금까지의 자료를 하나의 리서치 메모로 종합하게 하세요.
15가지 관점과 모순 지도를 통합하여 리서치 메모를 작성해 주세요.231. 한 문단 요약: 바쁜 사람을 위해 60초 안에 읽을 수 있도록,4 단순한 제목이 아닌 "뉘앙스"를 전달해 주세요.52. 상위 5가지 핵심 발견: 지금까지 배운 가장 중요한 것들을6 확실성 순으로 나열해 주세요. 각 항목에 대해 "어떤 관점이 지지하고7 어떤 관점이 반대하는지"를 명시해 주세요.83. 숨겨진 연결: 5가지 관점을 겹쳐야만 보이는,9 발견들 사이의 놀라운 연관성 하나.104. 실행을 위한 시사점: 이 증거를 바탕으로,11 [당신의 직위/역할]에 있는 사람은 구체적으로 무엇을 바꿔야 하나요?125. 최전선 질문: 답변된다면 이 주제에 대한 이해를13 근본적으로 바꿀 수 있는 단 하나의 질문.
돌아오는 것은 단일 전문가가 쓸 수 없는 브리핑입니다. 모든 각도를 고려하고, 모순을 명명하며, 확실성에 따라 순위를 매기고, 구체적인 행동으로 귀결됩니다. 논의 포인트 지도가 준비되었으므로, 다음에 어떤 판단을 내려야 할지 알 수 있습니다.
오늘의 한 가지 행동: 4번 항목의 대괄호 안에 자신의 직함이나 역할(예: "소상공인", "채용 담당자")을 넣어 일반론이 아닌 개인화된 시사점을 얻으세요.
프롬프트 4: 자체 감사
STORM 에는 제작자들이 인정한 약점이 있습니다. 저자들은 출력물이 "출처 편향 전이"와 "관련 없는 사실의 과도한 연관"으로 인해 어려움을 겪을 수 있다고 지적합니다. 이는 Claude 에게 동일한 작업을 시킬 때도 발생합니다. 마지막으로, 자체 출력물을 평가하게 하여 이에 대한 제동을 걸어야 합니다.
1방금 작성한 리서치 메모를 감사(audit)해 주세요.231. 신뢰도 점수: 상위 5가지 핵심 발견 각각에 대해 신뢰도를4 1-10점 척도로 평가해 주세요. 각 점수에 대한 이유를 설명해 주세요.52. 가장 약한 지점: 가장 확신이 없는 주장은 무엇인가요?6 이를 검증하는 데 필요한 구체적인 정보는 무엇인가요?73. 편향 확인: 어떤 관점이 통합 과정에 과도한 영향을 미쳤나요?8 특정 목소리가 지배적이 되고 있나요?94. 누락된 관점: 결론을 바꿀 수 있는 "6번째 관점"이 있었나요?105. 종합 평가: 제3자 전문가가 이 메모를 본다면,11 몇 점을 주고 무엇을 수정하라고 말할까요?
돌아오는 것은 리서치에 대한 정직한 점검입니다. 강력한 주장, 약한 주장, 과도한 영향을 받은 관점, 누락된 각도. "신뢰도 점수"가 낮은 항목들은 마침내 직접 1차 출처를 확인해야 하는 지점입니다.
오늘의 한 가지 행동: 감사에서 "신뢰도 낮음"으로 표시된 주장 하나를 골라 공식 웹사이트나 원본 문서에서 출처를 확인하세요. 이것이 AI 에 완전히 의존하지 않기 위한 마지막 단계입니다.
5분 워크플로우 요약
네 개의 프롬프트는 다음과 같이 흐릅니다:
- 1분: 프롬프트 1 → 5가지 관점
- 2-3분: 프롬프트 2 → 모순 지도
- 3-4분: 프롬프트 3 → 리서치 메모
- 5분: 프롬프트 4 → 확실한 것과 의심스러운 것
5분 만에 다중 관점 포인트 식별, 모순 분석, 통합, 확실성 평가의 사이클을 완료합니다. 물론 이것이 "전문가를 능가했다"는 의미는 아닙니다. 이것은 단지 인간이 판단을 내리기 전에 수행하는 준비일 뿐입니다. 하지만 단 하나의 검색 결과만 보는 것과 비교하면, 당신의 출발점은 완전히 달라집니다.
자기소개를 하자면, 저는 tatsuki (@nobel_824)입니다. 중소기업의 AI 활용을 지원하며, Claude/Codex 의 업무 도입을 돕는 동시에 저 스스로도 하루 종일 Claude Code 를 실행하고 있습니다. 갑자기 고객의 새로운 산업에 대해 리서치해야 할 때, 이 4개의 프롬프트가 가장 먼저 사용하는 도구입니다.
이 방법은 언제 효과적인가?
이 템플릿은 거의 모든 리서치의 진입점에 사용할 수 있습니다. 저는 주로 다음과 같은 상황에서 사용합니다:
아티클이나 제안서를 작성하기 전에. 4개의 프롬프트를 실행하면 처음부터 다른 사람이 다루지 않는 각도를 포착할 수 있습니다. 중요한 결정을 내리기 전에. 실무자는 "현실에서 움직이는 것"을, 회의론자는 "무엇이 잘못되었는지"를, 경제학자는 "누가 이익을 보는지"를 알려주기 때문에, 찬성 측의 문서만 보는 것보다 훨씬 현실에 기반합니다. 낯선 분야를 배우기 시작하기 전에. 실무자에게 "무엇을 먼저 배워야 하는지"를 묻고 회의론자에게 "무엇이 과대평가되고 있는지"를 물으면 불필요한 우회로를 줄일 수 있습니다. 비즈니스 미팅이나 인터뷰 전에도, 상대방을 5가지 관점에서 바라보면 준비한 Q&A 의 질이 달라집니다.
이 모든 상황의 공통점은 "답을 얻기 위해"가 아니라 "모든 논의 포인트를 식별하기 위해" 이 방법을 사용한다는 것입니다. 최종 결정은 당신이 내리기 때문에, 모든 의사 결정 자료를 빠짐없이 정렬하는 도구로 잘 작동합니다.
주의해야 할 세 가지 함정
편리하지만 주의해야 할 점이 있습니다. 세 가지만 기억하세요.
첫째는 할루시네이션 (그럴듯하지만 거짓된 정보 생성)입니다. 5가지 관점이 구체적으로 말할수록 답변은 더 설득력 있어집니다. 하지만 설득력과 정확성은 다릅니다. 고유 명사, 숫자, 날짜에 대해서는 프롬프트 4 감사에서 "약함"으로 표시된 것부터 시작하여 항상 1차 정보로 확인하세요. 이 단계는 건너뛸 수 없습니다.
둘째는 출처 편향의 전이입니다. 이는 STORM 논문에서 언급된 약점으로, 출처 자체가 편향되어 있으면 그 편향이 출력물에 그대로 전이됩니다. Claude 가 백그라운드에서 보는 출처를 선택할 수 없기 때문에, 5가지 관점이 모두 같은 방향을 가리킨다면, 그것이 진정으로 모든 것을 포괄하는 것인지, 아니면 단지 동일한 편향을 공유하고 있는 것인지 의심해야 합니다.
셋째는 "5분 만에 전문가가 되었다"는 과신입니다. 이 템플릿은 준비 속도가 빠를 뿐, 전문 지식 자체를 빠르게 얻는 것은 아닙니다. 결과 메모는 "지금부터 검증해야 할 가설 목록"으로 취급하는 것이 더 나으며, 궁극적으로 더 나은 결정으로 이어집니다.
결론: 가치는 "검색자"에서 "질문 설계자"로 이동하고 있다
AI 가 당연하게 좋은 답변을 제공하는 시대에, 차이는 "얼마나 많은 답을 알고 있는가"에서 "얼마나 많은 각도에서 어떤 종류의 질문을 설정할 수 있는가"로 이동하고 있다고 느낍니다.
하나의 검색 결과를 보고 탭을 닫는 것은 입구에서 되돌아서는 것과 같습니다. 같은 5분 동안, 5가지 관점으로 스캔하고, 모순을 매핑하고, 통합하고, 자체 감사를 실행한다면, 당신의 출발점은 완전히 달라집니다. 스탠포드가 논문에서 보여준 것은 명백하지만 종종 무시되는 사실, 즉 "관점을 늘리면 사각지대가 줄어든다"는 것이었습니다. Claude 로 이를 흉내 내기 위해 필요한 것은 단 네 번의 복사-붙여넣기뿐입니다.
오늘 시도해 볼 3단계
- [ ] 가장 리서치하고 싶은 주제 하나를 정하고 프롬프트 1을 Claude 에 붙여넣으세요.
- [ ] 동일한 대화에서 프롬프트 2 → 3 → 4를 붙여넣고 5분 만에 사이클을 완료하세요.
- [ ] 감사(프롬프트 4)에서 "신뢰도 낮음"으로 표시된 주장 하나를 골라 1차 정보로 확인하세요.
다음에 무언가를 리서치할 때, Claude 에게 어떤 "5가지 질문"을 설정하게 하시겠습니까?
X 에서 공유할 수 없는 유용한 정보가 LINE 오픈챗에서 공유되고 있습니다. Claude Code/Codex 활용 또는 AI 를 이용한 X 운영에 관심이 있으시다면 참여해 주세요.
소감과 함께 이 글을 인용하시면 모두 리포스트하겠습니다!
참고 링크
- Shao et al. (2024) Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models (STORM 논문, NAACL 2024), arXiv:2402.14207 : https://arxiv.org/abs/2402.14207
- STORM 논문 (ACL Anthology 버전) : https://aclanthology.org/2024.naacl-long.347/
- stanford-oval/storm (공식 구현, MIT 라이선스, Co-STORM 포함) : https://github.com/stanford-oval/storm
- STORM 라이브 버전 (무료 리서치 프리뷰) : https://storm.genie.stanford.edu/
- Stanford STORM 프로젝트 사이트 : https://storm-project.stanford.edu/
