이런 상황을 겪어보신 적 있나요?
상사가 업무를 지시하고, 그 내용을 신입 사원에게 설명합니다. 그런데 또 다른 사람이 합류하면, 처음부터 다시 설명해야 합니다.
회사에 전환율이 높은 최고의 영업 사원이 있지만, 그들의 노하우가 전수되지 않고 있습니다. 신입 영업 직원들은 배우는 방법을 몰라 성장이 더딥니다.
고객 질문은 항상 비슷한 몇 가지 유형으로만 이루어져 있지만, 매번 정보를 다시 찾고 답변을 재구성해야 합니다.
회의록, 프로젝트 리뷰, 제품 자료, 고객 사례... 매일 쏟아져 나오지만, 막상 필요할 때는 컴퓨터를 다 뒤져도 찾을 수 없습니다.
이것이 대부분 중소기업의 일상입니다. 지식의 가치를 모르는 것이 아니라, 정리할 여력이 없는 것입니다.
많은 사람들이 Doubao, DeepSeek, ChatGPT를 사용해 봤을 겁니다. 사용 후 느낌은 한결같습니다. 말은 맞는 것 같은데, 정작 본인의 업무에는 전혀 쓸모가 없다는 것입니다.
예를 들어, 고객 질문에 답변해 달라고 하면, 그럴듯한 답변을 내놓지만, 한눈에 우리 회사 제품이 아니고, 우리 회사 서비스 스타일이 아니며, 우리 회사가 고객에게 사용하는 톤이 아니라는 것을 알 수 있습니다.
솔직히 말해서, AI는 여러분을 전혀 모릅니다.
그렇다면 문제는 무엇일까요?
시중의 일반 AI 도구는 공개 데이터로 학습됩니다. 박식하지만 막 입사한 신입 사원과 같아서, 일반적인 지식은 많이 알고 있지만, 회사의 구체적인 상황은 전혀 모릅니다.
하지만 여러분의 기업과 개인 업무에는 각자 고유한 것들이 있습니다: 제품 사양, 고객 사례, 서비스 프로세스, 글쓰기 스타일, 과거의 성공과 실패 사례 등이죠.
AI는 이런 것들을 본 적이 없습니다.
따라서 모호하고 "맞는 말"만 하는 답변만 내놓을 수밖에 없습니다.
이 글의 목표는 한 가지입니다: AI가 여러분의 맥락을 이해하고, 여러분의 자료를 바탕으로 작업을 수행하도록 만드는 것.
이 글을 읽고 나면, 최소 네 가지를 얻을 수 있습니다: 최소한의 지식 베이스 디렉토리 구조, 안전한 작업부터 시작할 수 있는 프로세스, 바로 사용 가능한 두 가지 프롬프트, 도구 선택을 위한 판단 기준.
첫 번째 버전은 기술적 기반이 필요 없고, 복잡한 시스템을 구매할 필요도 없습니다. 일단 실행하는 것이 핵심입니다.
AI 지식 베이스: 맥락부터 시작하세요
많은 사람들이 "지식 베이스"라고 하면 폴더나 문서 관리 시스템을 떠올립니다.
AI 지식 베이스는 그렇지 않습니다.
AI 지식 베이스는 본질적으로 AI에 맥락을 제공하는 것입니다.
맥락이란 무엇일까요? AI가 알지 못하는 회사 내부 정보, 자료, 제품 소개 등을 말합니다.
예를 들어, 회사가 무엇을 하는지, 어떤 제품이 있는지, 어떤 고객을 대상으로 하는지, 고객이 자주 묻는 질문은 무엇인지, 과거에 성공한 사례와 실패한 사례는 무엇인지, 외부 커뮤니케이션에 어떤 톤을 사용해야 하고 무엇을 피해야 하는지 등이 있습니다.
이러한 모든 것이 AI의 맥락을 구성합니다.
AI의 최종 출력 품질은 실제로 세 가지 요소에 의해 결정됩니다: 모델 자체의 성능, 여러분이 제공하는 맥락의 질, 그리고 여러분이 설정한 작업 제약 조건입니다.
물론 모델 성능도 중요합니다. 하지만 특정 비즈니스 시나리오에서는 AI에게 구체적인 맥락과 명확한 작업 제약 조건도 필요합니다.
동일한 모델을 사용하고 모호한 자료만 던져주면, 모호한 답변만 얻을 수 있습니다. 하지만 회사의 제품 자료, 실제 고객 질문, 우수 사례, 명확한 출력 규칙을 제공하면, 마치 회사 직원이 작성한 것 같은 콘텐츠를 생성할 수 있습니다.
바로 여기에 AI 지식 베이스의 가치가 있습니다.
또 한 가지, 많은 사람들이 깨닫지 못하는 것이 있습니다.
과거에는 지식 관리가 거의 전적으로 사람에게 의존했습니다. 사람이 데이터를 정리하고, 검색하고, 내용을 이해하고, 사용 가능한 것을 판단한 다음, 출력물을 재작성했습니다.
모든 단계에 사람이 필요했습니다. 관리를 해본 사람은 알겠지만, 인건비가 가장 높습니다. 직원들에게 도구와 문서 라이브러리를 제공하고 교육을 시켜도, 모든 사람이 잘 활용하는 것은 아닙니다.
이제는 어떨까요?
사람이 판단하고 보정하는 최종 단계를 제외하고, AI는 정리, 검색, 초안 작성 등 이전의 많은 단계에 참여할 수 있습니다.
사람은 주로 판단을 내립니다. AI의 출력이 정확한지, 좋은지, 사용 가능한지 판단하고, 무엇을 변경해야 하는지 알려줍니다.
AI 지식 베이스 구현을 위한 다섯 가지 방법
AI 지식 베이스에 대해 이야기할 때 자주 등장하는 용어가 있습니다: 벡터 데이터베이스와 RAG입니다.
일반인과 중소기업의 경우, 첫 번째 버전은 일반적으로 이렇게 무거운 솔루션이 필요하지 않습니다.
현재 다섯 가지 일반적인 구현 방법이 있습니다. 다섯 가지 병렬 옵션이 아니라 가벼운 것부터 무거운 것까지의 다섯 단계입니다. 현재 단계에 해당하는 솔루션을 선택하세요.
1. 직접 제공.
가장 간단한 방법입니다. 파일을 AI에 직접 업로드하고 해당 파일을 기반으로 질문에 답변하도록 하는 것입니다. 일회성, 소규모, 임시 작업에 적합합니다. 하지만 매번 다시 업로드해야 하고 장기적인 시스템으로 전환하기 어렵다는 단점이 있습니다.
2. 분류된 디렉토리 지식 베이스.
개인과 중소기업이 가장 먼저 시도해 볼 것을 추천하는 방법입니다. 플랫폼을 구축하지 말고, 기존 자료를 다른 디렉토리(예: 기본 정보, 제품, 고객 질문, 사례, 출력 규칙)로 분류하기만 하면 됩니다. 그런 다음 특정 시나리오에서 어떤 디렉토리를 참조해야 하는지 AI에 알려줍니다. 기술적 기반이 필요하지 않습니다.
3. 인덱스 기반 맵.
파일이 여러 범주에 속할 때, AI가 모든 자료를 스캔하고 주제별로 인덱스 맵을 그리도록 합니다. 완벽한 분류가 필요하지 않지만, AI가 "무언가를 찾을 때 어디로 가야 하는지" 알 수 있습니다. Andrej Karpathy의 LLM Wiki 아이디어를 참조할 수 있습니다. AI가 Wiki 페이지와 로그를 유지 관리하여 원시 자료를 연결하도록 하는 것입니다.
4. RAG 및 벡터 검색.
기술적으로 들릴 수 있습니다. 실제로는 데이터가 너무 방대해져서 디렉토리나 인덱스만으로는 정확성이 떨어질 때, AI가 의미론적으로 자료를 찾아야 합니다. RAG는 데이터를 미리 청크로 처리하고, AI가 검색할 때 질문의 "의미"와 가장 가까운 데이터 청크를 매칭합니다. 대규모 데이터와 높은 정확성이 필요한 경우에 사용됩니다.
5. 기존 시스템 또는 맞춤형 플랫폼에 통합.
이는 엔터프라이즈급 솔루션입니다. 예를 들어, AI를 내부 CRM이나 고객 서비스 플랫폼에 통합하는 것입니다. 많은 웹사이트 모서리에 있는 AI 고객 서비스 버튼이 이 로직으로 작동합니다.
대부분의 경우, 두 번째 방법부터 시작하는 것으로 충분합니다.
개인 지식 베이스: 나만의 아웃풋 문제 해결하기
저는 제 생각, 일기, 과거 기사, 회의록을 위해 컴퓨터에 디렉토리를 만들었습니다. 로컬 파일을 읽을 수 있는 AI 에이전트 도구를 사용하고 있습니다. 이제 기사를 쓸 때 폴더를 검색하지 않고, AI에 주제를 알려주면 관련된 과거 생각을 가져와 자료를 정리해 줍니다. 심지어 서로 관련 없는 노트를 연결하는 지식 그래프도 그릴 수 있습니다.
기업 지식 베이스: 가장 고통스러운 비즈니스 시나리오부터 시작하기
1. 교육/훈련 기관: SOP, 상담 스크립트, 사례 요약을 분류했습니다. AI는 이제 고객 문의 및 소셜 미디어 콘텐츠에 대한 초안을 생성하고, 사람이 이를 다듬습니다.
2. 건강 기능 식품 회사: 수십 가지 제품을 보유하고 있으며, 소셜 미디어 댓글에서 실제 고객의 의견을 수집했습니다. AI는 이제 제품 데이터와 실제 질문을 기반으로 응답 템플릿을 생성하여 영업 직원이 신속하게 정확한 조언을 제공할 수 있도록 지원합니다.
3. 홈 데코 기업: 업계 표준과 자체 디자인 철학 및 사례 연구를 결합했습니다. AI는 마케팅 초안 및 내부 교육 자료 생성을 지원하여 고가의 외부 에이전시 의존도를 줄입니다.
오늘부터 시작할 수 있는 최소 버전
- 루트 디렉토리를 만들고 "지식 베이스"라고 이름을 지정합니다.
- 다섯 개의 하위 디렉토리를 만듭니다: 기업 기본 정보, 제품/서비스, 고객 질문, 사례 자료, 출력 규칙.
- 로컬 파일을 읽을 수 있는 AI 에이전트 도구(예: Codex 또는 WorkBuddy)를 선택합니다.
- 구조화된 프롬프트를 사용하여 AI가 분류를 돕도록 합니다.
- 특정하고 안전한 시나리오(예: 민감하지 않은 고객 질문에 답변하기)로 테스트합니다.
바로 사용할 수 있는 두 가지 프롬프트
1. 자동 데이터 분류 프롬프트:
(루트 디렉토리 경로와 보류 중인 파일을 제공합니다. AI가 파일을 이동하거나 삭제하지 않고 다섯 가지 범주로 분류하도록 요청합니다.)
2. 지식 베이스를 기반으로 고객 질문에 답변하기:
(경로를 제공합니다. AI가 고객의 핵심 관심사를 파악하고, 직접적인 답변을 제공하고, 내부 직원을 위한 설명을 제공하고, 후속 질문을 나열하고, 출처를 인용하도록 요청합니다. 정보가 누락된 경우 반드시 그렇게 말하도록 합니다.)
도구 선택 방법
일반 채팅 도구는 파일 관리용으로 설계되지 않았습니다. Codex(성숙하고 네트워크가 허용된다면 좋음) 또는 WorkBuddy(중국 내에서 더 편리함)와 같은 "AI 에이전트" 도구를 찾으십시오. Lark(飞书)를 사용하는 경우, 내장된 문서와 다차원 테이블이 훌륭한 기반이 됩니다.
성공은 피드백에 달려 있습니다
구축하는 것은 첫 단계에 불과합니다. AI가 실수할 때, 단순히 멍청하다고 말하지 말고, 수정 사항을 "출력 규칙" 문서에 기록하십시오. 특정 스타일이 효과적이라면 참조 자료로 추가하십시오. 이것은 루프입니다: 데이터 입력 -> AI 시도 -> 사람이 규칙 수정 -> AI 개선.
마지막 생각
AI 지식 베이스는 고급 시스템이 아닙니다. 여러분의 경험과 데이터를 AI가 호출할 수 있도록 만드는 방법입니다. 오늘 15분만 테스트해 보십시오. AI가 인터넷에서 추측하게 하지 말고, 여러분의 데이터로 작업하게 하십시오.
