AI 에이전트는 질문에 답하는 것에서 행동을 취하는 것으로 진화하고 있습니다.
이 한 가지 변화가 전체 위험 모델을 바꿉니다.
챗봇은 텍스트를 생성합니다. 에이전트는 시스템을 작동시킵니다.
에이전트는 이메일을 읽고, API 를 호출하고, 고객 기록을 업데이트하고, 코드를 배포하고, 티켓을 생성하고, 워크플로 단계를 승인하고, 다른 에이전트와 조정하며, 새로운 지식을 장기 기억에 저장할 수 있습니다.
즉, 핵심 질문은 더 이상 다음과 같지 않습니다:
이 답변이 정확한가요?
이제 핵심 질문은 다음과 같습니다:
이 에이전트가 지금 행동해도 되는가?
바로 이 질문에 답하기 위해 거버넌스 레이어가 존재합니다.
1. 메모리는 유용하지만 거버넌스가 아닙니다.
메모리는 에이전트가 세션 간에 컨텍스트를 유지하도록 돕습니다.
사용자 선호도, 과거 작업, 도구 출력, 이전 결정을 기억하도록 돕습니다. 그것은 중요합니다. 하지만 메모리는 다음을 결정하지 않습니다:
- 어떤 사실이 메모리에 입력될 수 있는지
- 어떤 메모리가 오래되었거나 오염되었는지
- 어떤 행동에 승인이 필요한지
- 다음에 어떤 워크플로 단계가 와야 하는지
- 실행 전에 어떤 증명이 필요한지
- 어떤 에이전트가 어떤 정보를 사용할 수 있는지
프로덕션 에이전트 시스템에서 더 어려운 문제는 종종 정보 검색이 아닙니다. 바로 권한입니다.
메모리는 에이전트가 기억하도록 돕습니다.
거버넌스는 에이전트가 무엇을 할 수 있는지 선택하도록 돕습니다.
바로 이 지점에 Marrow 가 위치합니다.
Marrow 는 단순한 메모리 레이어가 아닙니다. AI 에이전트 fleet 을 위한 판단 레이어입니다.
2. 관찰 가능성(Observability)은 과거를 설명합니다. 에이전트는 미래 이전에 통제가 필요합니다.
관찰 가능성은 필수적입니다. 팀에는 추적, 로그, 평가, 주석, 알림, 대시보드가 필요합니다.
하지만 사후 가시성은 잘못된 행동이 발생하기 전에 막지 못합니다.
에이전트가 안전하지 않은 코드를 배포하거나, 민감한 이메일을 보내거나, 잘못된 결제를 승인하거나, 필수 워크플로 단계를 건너뛰는 경우, 대시보드는 나중에 사건을 설명할 수 있습니다. 하지만 반드시 예방하는 것은 아닙니다.
영향력이 큰 워크플로의 경우, 신호가 에이전트에게 행동 전에 도달해야 합니다:
- 위험 수준
- 필요한 증명
- 정책 제약 조건
- 소유자 승인
- 롤백 계획
- 정확한 다음 단계
- 허용, 경고, 검토 또는 차단
이것이 관찰 가능성과 거버넌스 사이의 차이입니다.
대시보드는 인간에게 정보를 제공합니다.
거버넌스는 에이전트가 행동하기 전에 정보를 제공합니다.
3. 평가는 스냅샷입니다. 프로덕션은 지속적인 흐름입니다.
배포 전 평가는 많은 실패를 잡아냅니다. 하지만 프로덕션 에이전트는 변화하는 환경에 살고 있습니다.
프롬프트가 바뀝니다. 도구가 바뀝니다. API 가 바뀝니다. 데이터가 바뀝니다. 정책이 바뀝니다. Fleet 내의 다른 에이전트가 바뀝니다.
벤치마크는 특정 조건 세트에서 에이전트가 잘 수행한다고 말할 수 있습니다. 프로덕션은 다른 질문을 던집니다:
이 에이전트가 환경이 변함에 따라 올바른 결정을 계속 내릴 것인가?
도구를 사용하는 에이전트에 대한 연구도 같은 방향을 가리킵니다.
ToolEmu 는 고위험 도구를 사용하는 언어 모델 에이전트를 연구하며, 에이전트 실패가 심각한 실제 결과를 초래할 수 있음을 보여줍니다. AgentHarm 과 CUAHarm 은 에이전트가 도구를 사용하거나 컴퓨터를 작동할 수 있을 때 유해한 행동에 초점을 맞춥니다. 다른 연구에 따르면 에이전트는 추상적으로 위험을 이해할 수 있지만 구체적인 궤적에서 위험한 행동을 피하는 데 실패할 수 있습니다.
교훈은 실용적입니다:
안전은 모델에만 또는 벤치마크에만 존재할 수 없습니다.
프로덕션 에이전트는 런타임 제어가 필요합니다.
4. 거버넌스는 AI 인프라가 되고 있습니다.
주요 AI 거버넌스 프레임워크들은 같은 아이디어로 수렴하고 있습니다: 책임 있는 AI 는 운영 가능해져야 합니다.
원칙만으로는 안 됩니다.
정책 PDF 만으로는 안 됩니다.
대시보드만으로는 안 됩니다.
운영 가능한 거버넌스에는 다음이 필요합니다:
- 문서화된 위험 관리
- 자동 로깅
- 영향력이 큰 결정에 대한 인간의 감독
- 수명 주기 전반의 품질 관리
- 시스템 행동의 추적 가능성
- 시장 출시 후 모니터링
- 부작용에 대한 책임
이는 NIST AI RMF, NIST 의 Generative AI Profile, ISO/IEC 42001, OECD AI Principles, EU AI Act, OWASP 의 에이전틱 AI 위험 분류, 그리고 2026 Five Eyes 의 에이전틱 AI 서비스 가이드라인에서 볼 수 있습니다.
방향은 명확합니다.
엔터프라이즈 AI 시스템은 운영 수명 전반에 걸쳐 증거, 통제, 추적 가능성 및 책임이 필요합니다.
AI 에이전트의 경우, 이는 거버넌스가 런타임으로 이동해야 함을 의미합니다.
5. 에이전트 거버넌스 레이어가 해야 할 일
거버넌스 레이어는 에이전트 런타임과 에이전트가 영향을 미칠 수 있는 시스템 사이의 제어 평면입니다.
에이전트의 의도된 행동을 수신하여 정책, 권한, 위험, 증명 및 이전 결과에 대해 평가한 후, 실행 가능한 결정을 반환합니다:
허용
경고
검토 필요
차단
진지한 거버넌스 레이어에는 9가지 기능이 필요합니다.
- ID 및 범위가 지정된 권한
모든 에이전트는 명확한 ID, 제한된 권한 및 범위가 지정된 자격 증명이 필요합니다.
모든 에이전트가 동일한 API 키를 공유한다면 fleet 을 관리할 수 없습니다.
- 런타임 정책
정책은 실행 가능한 런타임 조건이 되어야 합니다.
어떤 단계가 먼저 와야 합니까?
어떤 증명이 필요합니까?
어떤 행동에 항상 검토가 필요합니까?
어떤 행동이 절대 자동으로 실행되어서는 안 됩니까?
- 위험 게이트
시스템은 행동을 영향, 되돌릴 가능성, 민감성 및 비즈니스 맥락에 따라 분류해야 합니다.
저위험 작업은 자동으로 실행될 수 있습니다. 고위험 작업은 증명, 승인 또는 차단이 필요할 수 있습니다.
- 증명 팩
행동 전에 에이전트는 증거를 첨부해야 합니다.
예시:
- 테스트 커버리지
- 롤백 계획
- 정책 조항
- 신원 확인
- 임상 승인
- 청구 검토
- 관리자 서명
- 승인 라우팅
인간의 검토가 모든 것에 대한 수동 큐가 되어서는 안 됩니다.
오류 비용이 높은 행동에 대한 조건부 체크포인트여야 합니다.
- 감사 및 출처
모든 결정은 추적 가능해야 합니다.
누가 시작했습니까?
왜 허용되거나 차단되었습니까?
어떤 정책이 적용되었습니까?
어떤 증명이 첨부되었습니까?
누가 승인했습니까?
그 다음에 무슨 일이 일어났습니까?
- 결과 마감
거버넌스는 허용 또는 차단에서 끝나지 않습니다.
시스템은 루프를 닫아야 합니다:
- 행동이 성공했습니까?
- 실패했습니까?
- 롤백이 필요했습니까?
- 누가 승인했습니까?
- 어떤 교훈을 저장해야 합니까?
- 메모리 쓰기 거버넌스
모든 로그가 지식은 아닙니다.
모든 지식 조각이 모든 에이전트에 영향을 미쳐서는 안 됩니다.
실제 결과는 통제된 쓰기를 통해서만 메모리가 되어야 합니다.
- Fleet 수준 학습
거버넌스 레이어는 fleet 전반의 행동을 추적해야 합니다:
- 기본 워크플로와의 편차
- 재시도 루프
- 반복되는 실패
- 미래 에이전트에게 경고해야 하는 패턴
이 지점에서 거버넌스는 단순한 제한을 넘어 학습이 됩니다.
6. 거버넌스 사례 연구로서의 Marrow
Marrow 는 간단한 작동 루프를 중심으로 설계되었습니다:
orient → think → act → check → commit
각 단계에는 거버넌스 기능이 있습니다.
Orient 는 관련 기록, 경고 및 제약 조건을 표면화합니다.
Think 는 의도된 행동이 발생하기 전에 평가합니다.
Act 는 컨텍스트와 가드레일을 첨부하여 실행합니다.
Check 는 증명이나 마감이 누락되었는지 검사합니다.
Commit 은 결과를 기록하여 다음 결정이 개선되도록 합니다.
이것이 메모리와 판단의 핵심 차이점입니다.
메모리는 묻습니다:
에이전트가 무엇을 알고 있습니까?
Marrow 는 묻습니다:
에이전트가 행동해야 하며, 어떤 조건에서 그래야 합니까?
제품 표면은 런타임 거버넌스에 직접 매핑됩니다:
decisionBrief()는 에이전트에게 행동 전 컨텍스트를 제공합니다.workflowGate()는 허용, 경고, 검토 필요 또는 차단을 반환합니다.runGuarded()는 위험한 작업을 행동 전 지침 및 결과 마감으로 감쌉니다.agentRuntime()은 교훈과 증명 요구 사항을 에이전트 컨텍스트에 주입합니다.agentStatus()는 Marrow 가 활성화되어 유용한 신호를 수집하고 있는지 보여줍니다.valueReport()는 거버넌스를 소유자가 볼 수 있는 증명으로 전환합니다.
즉:
Marrow 는 과거 결과를 행동 전 판단으로 전환합니다.
7. 구체적인 예: 잘못된 배포
결제 webhook 변경 사항을 배포하려는 CI/CD 에이전트를 상상해 보십시오.
빌드는 통과합니다.
브랜치가 준비되었습니다.
에이전트가 프로덕션에 푸시하려고 합니다.
하지만 pull request 에는 세 가지가 누락되어 있습니다:
- 테스트 커버리지
- 롤백 계획
- smoke test
거버넌스가 없으면 배포가 진행될 수 있습니다.
몇 시간 후에 결제 오류가 나타납니다. 고객이 영향을 받습니다. 당직 엔지니어가 수동으로 롤백합니다. 사고는 또 다른 사후 분석이 됩니다.
거버넌스가 있으면 워크플로 게이트가 배포 전에 실행됩니다.
다음을 반환합니다:
위험 수준: 높음
증명 팩 누락
배포 차단됨
에이전트는 단순히 더 많이 로깅하는 것이 아닙니다. 올바른 지점에서 멈추도록 강제되고 있습니다.
그것이 행동 전 거버넌스의 가치입니다.
8. 에이전트 거버넌스를 위한 올바른 지표
거버넌스 레이어는 단순히 로그 수를 세어서는 안 됩니다.
Fleet 이 더 안전해지고, 더 일관되며, 감사하기 쉬워지고 있는지 측정해야 합니다.
유용한 지표는 다음과 같습니다:
- 행동 커버리지: 얼마나 많은 고영향 행동이 게이트를 통과하는지
- 증명 완료율: 얼마나 많은 행동이 실행 전에 필요한 증명을 포함하는지
- 결과 마감율: 얼마나 많은 결정이 실제 결과로 마감되는지
- 방지된 반복 실패: 알려진 실패 패턴이 얼마나 자주 방지되는지
- 편차 심각도: 에이전트가 승인된 워크플로에서 얼마나 멀어지는지
- 위양성률: 게이트가 너무 많이 차단하는 빈도
- 위음성률: 위험한 행동이 얼마나 자주 빠져나가는지
- 감사 재구성 시간: 결정을 설명하는 데 걸리는 시간
- 인간 검토 정밀도: 올바른 행동에 대해 인간 승인이 사용되는지 여부
거버넌스는 롤백을 줄이고, 반복되는 사고를 방지하며, 불필요한 검토를 좁히고, 에이전트 행동을 증명하기 쉽게 만들 때 유용합니다.
그렇지 않으면 규정 준수 쇼가 됩니다.
9. 거버넌스 레이어에도 위험이 있습니다.
거버넌스 레이어도 실패할 수 있습니다.
잘못 구성될 수 있습니다. 정책이 오래될 수 있습니다. 증명이 불완전할 수 있습니다. 게이트가 과도하게 차단할 수 있습니다. 공격자가 제어 평면을 표적으로 삼을 수 있습니다. 너무 많은 민감한 데이터를 저장하면 위험 집중 지점이 됩니다.
따라서 거버넌스 레이어 자체에도 규율이 필요합니다:
- 기본적으로 최소 권한 에이전트는 필요한 시간 동안 필요한 권한만 받아야 합니다.
- 고영향 행동에 대해 실패 시 차단 행동이 심각한 해를 끼칠 수 있다면, 증명이 누락되면 실행을 중지해야 합니다.
- 저위험 자동화에 대해 실패 시 소프트 모든 행동이 동일한 수준의 마찰을 받을 자격은 없습니다.
- 인간이 읽을 수 있는 증거, 기계가 읽을 수 있는 정책 운영자는 결정을 이해할 수 있어야 합니다. 시스템은 이를 강제할 수 있어야 합니다.
- 실제 결과로부터 학습 결과 마감 없이는 시스템은 판단이 아닌 로그만 축적합니다.
10. 결론
AI 에이전트는 소프트웨어를 새로운 운영 모델로 밀어넣고 있습니다.
도구를 선택하고, 다른 에이전트와 조정하고, 시스템을 수정하고, 결과를 생성할 수 있습니다.
이 모델에서 거버넌스는 배포 후에 추가되는 레이어가 아닙니다. 런타임 내부에 속합니다.
메모리, 관찰 가능성, 평가 및 인간 검토는 모두 중요합니다. 하지만 각각은 문제의 일부만 해결합니다.
거버넌스 레이어는 이들을 책임 있는 행동 루프로 연결합니다:
행동 전 정책
실행 전 증명
행동 중 권한
행동 후 결과
Fleet 전반의 학습
이것이 Marrow 뒤에 있는 테제입니다.
AI 에이전트 fleet 은 단순히 더 많이 기억할 필요가 없습니다.
행동하기 전에 더 나은 판단이 필요합니다.
참고 자료
- NIST. AI 위험 관리 프레임워크
- NIST. 생성형 AI 프로필, NIST AI 600-1
- OECD. OECD AI 원칙
- 유럽연합 집행위원회 AI 법 서비스 데스크. 제 9 조: 위험 관리 시스템
- 유럽연합 집행위원회 AI 법 서비스 데스크. 제 12 조: 기록 보관
- 유럽연합 집행위원회 AI 법 서비스 데스크. 제 14 조: 인간 감독
- 유럽연합 집행위원회 AI 법 서비스 데스크. 제 17 조: 품질 관리 시스템
