제가 10억 달러 이상 기업의 CFO들과 대화할 때마다, 그분들은 모두 AI 환경과 관련해 두 가지 측면에서 고민하고 있습니다.
수평적 어시스턴트: 조직의 모든 구성원에게 Microsoft Copilot 또는 Claude Cowork를 제공하는 것입니다. 이 방식의 문제점은 모든 직원이 각자 3개의 에이전트를 만들어 사용하는데, 이들이 서로 연동되지 않고 3개월 후에는 토큰 비용으로 300만 달러를 지출했으며, 에이전트의 80%가 작동을 멈추거나 운영 중 자주 오류를 발생시킨다는 점입니다. 결국 300만 달러의 토큰 비용 청구서와 함께, 책임질 사람도 없는 기술 부채의 무덤만 남게 됩니다.
포인트 솔루션: AP에는 하나, 결산에는 또 하나, 비용 관리에는 또 다른 새로운 소프트웨어 솔루션을 도입하는 것입니다. 이 방식은 효과적이지 않습니다. 모든 사람을 위해 만들어진 소프트웨어는 당신을 위해 만들어진 것이 아니기 때문입니다. 이 소프트웨어는 당신의 AP 프로세스가 4단계가 아닌 7단계라는 사실을 이해하지 못하고, 예외 처리 로직도 이해하지 못합니다. 결과적으로 직원들은 이 소프트웨어를 사용하지 않거나, 사용하더라도 ROI가 15% 미만입니다. 더 심각한 것은 직원들이 새로운 소프트웨어가 기존 방식과 다르다고 불평하며, 절반은 오히려 성능이 떨어진다고 생각한다는 점입니다. 완전한 악몽이죠.
제 역할은 CFO들이 자신에게 적합한 두 솔루션의 적절한 조합을 이해하도록 돕는 것입니다. 수평적 어시스턴트는 분명 필요하지만, 용도가 다릅니다. 직원들은 여전히 해야 할 일이 있고, 이 어시스턴트는 한 명의 직원이 10명의 일을 할 수 있도록 돕는 것입니다. 하지만 더 큰 그림을 놓치고 있습니다: 직원의 프롬프트나 사용 없이도 자체적으로 작업을 수행하는 백그라운드 에이전트 말입니다. 송장이 도착하자마자 읽고, 적절한 구매 주문(PO)과 매칭한 다음, 승인 처리하거나 한 가지 이상한 건만 결정해야 할 담당자에게 전달하는 에이전트를 상상해보세요. 팀이 노트북을 켜기도 전에 모든 작업이 완료되는 것입니다. 매일 아침 전날의 은행 거래 내역을 원장과 대조하여, 월말이 시작되기 전에 결산을 사실상 마무리하는 에이전트. 누락된 W-9이나 연체된 대금을 자체적으로 추적하여, 팀원 누구도 그런 이메일을 다시는 작성하지 않아도 되는 에이전트. 아무도 이 에이전트들에게 프롬프트를 입력하지 않습니다. 그저 백그라운드에서 실행되고, 당신이 출근하면 작업은 이미 완료되어 있는 것입니다.
맥락을 설명드리자면, 저는 Varick Agents (@varickagents)를 운영하고 있습니다. 저희는 기업 재무 팀과 협력하여 그들이 이미 사용 중인 도구 내에서 운영되는 AI 에이전트를 배포합니다. 재무 분야는 저희가 가장 빠르고 측정 가능한 결과를 확인한 분야입니다. 업무가 반복적이고, 프로세스가 잘 정의되어 있으며, 수동 작업의 비용을 수치화하기가 매우 쉽기 때문입니다.
이 글의 목표는 저희가 여러 기업에서 대규모로 이 작업을 수행한 방법, 피하는 방법을 배운 함정, 그리고 모든 것이 완료된 후 성공을 측정하는 방법을 보여드리는 것입니다. 보너스로: 매년 토큰에 수백만 달러를 지출하지 않는 방법과 환각 현상을 거의 0에 가깝게 줄이는 방법도 알려드립니다. 참고로, 저희는 한 고객사의 월말 결산 기간을 12일에서 5일로 단축했습니다. 동시에 오류율을 72% 감소시켰습니다. 창출된 가치는 수익 증대, 비용 절감, 위험 감소를 합쳐 연간 최대 4,500만 달러에 달했습니다. 최종적으로 구축되는 에이전트가 매우 다르더라도(그래서 포인트 솔루션 소프트웨어가 효과가 없는 이유이기도 합니다), 매번 동일한 플레이북을 사용합니다.
재무 분야 AI 구현의 실패율은 높습니다
방법론을 설명하기 전에, 수치를 간략하게 살펴보겠습니다. 재무 팀의 현재 상태와 달성 가능한 상태 사이의 격차는 크지만, 지금까지의 AI 결과는 상당히 저조했습니다.
- Gartner가 183명의 재무 리더를 대상으로 조사한 결과, 84%가 AI를 구현했거나 계획 중이지만, 높은 영향을 보고한 비율은 7%에 불과했습니다.
- MIT NANDA 그룹은 300개의 배포 사례를 분석한 결과, 기업 Gen-AI 파일럿의 95%가 P&L에 측정 가능한 수익을 제공하지 못하는 것으로 나타났습니다.
- Gartner는 2027년 말까지 에이전트형 AI 프로젝트의 40% 이상이 비용, 불분명한 가치, 취약한 위험 통제로 인해 취소될 것으로 예상합니다.
제가 대부분이 실패한다고 말할 때, 바로 이 통계를 근거로 하고 있습니다. 그 이유는 아래에서 설명하겠지만, 비교를 위해 말씀드리자면 Varick의 재무 부서 구현은 100% 성공적으로 프로덕션에 배포되었으며, 측정 가능한 긍정적 ROI(평균 5.5배)를 기록했습니다.
이제 실제 업무에 대해 살펴보겠습니다:
- 송장의 2/3는 여전히 한 명 이상의 사람이 직접 처리해야 합니다. 약 1/3만이 완전 자동 처리됩니다(Ardent Partners, 2025). 저희가 협력한 고객사에서는 송장 한 장이 완전히 처리되기 전에 평균 3명 이상이 관여하는 경우가 많았습니다.
- 수동 송장 처리 비용은 건당 $12.42입니다(처음부터 끝까지).
- 전체 재무 팀의 절반은 장부 마감에 일주일 이상이 소요되며(Ledge, 2025), 이 중 94%는 여전히 마감 과정 어딘가에서 Excel을 사용하고 있습니다.
- 송장의 14%가 예외로 분류되며, 예외 처리는 AP에서 가장 큰 골칫거리로 꼽힙니다. 제가 가장 주목하고자 하는 통계입니다. 귀사의 예외 사항은 다른 회사의 예외 사항과 다릅니다. 즉, 어떤 일반적인 SaaS나 제품도 귀사가 필요로 하는 방식으로 이 큰 골칫거리를 해결할 수 없다는 의미입니다. 재무 기능을 위한 맞춤형 소프트웨어의 필요성은 그 어느 때보다 높아졌으며, 다행히도 AI는 이를 위한 완벽한 해결책입니다.
이 중 어느 것도 더 이상 기술적인 문제가 아닙니다. 이는 워크플로 문제이자, 사람 간의 연결고리(Human Glue) 문제이며, 이 차이점에 대해서는 아래에서 더 자세히 설명하겠습니다.
수평적 어시스턴트(Claude Cowork, Microsoft Copilot)가 실패하는 이유
토큰 비용(분기당 수백만 달러)을 무시하더라도, 더 큰 문제는 최첨단 모델조차 재무 업무를 대부분의 경우 틀리게 수행한다는 것입니다. 올해 최첨단 모델(Fable, Opus, GPT 5.5 등)을 900개 이상의 실제 재무 분석가 과제에 적용했을 때, 가장 성능이 좋은 모델조차 정확도가 52%에 불과했습니다(Vals AI). 또 다른 연구에서는 19개 모델을 실제 계정과목표에 적용했을 때 최고 정확도가 66%였습니다(DualEntry). 재무 기능에서 이러한 정확도 수준은 치명적입니다. 심지어 Microsoft의 자체 문서에서도 수치 계산이나 규정 준수와 관련된 모든 작업에 Excel Copilot을 사용하지 말라고 명시하고 있습니다. 이는 AI를 스프레드시트에 넣어놓고 정작 사용하지 말라는 의미이므로 상당히 아이러니합니다.
환각 현상이 단순히 이메일의 오타를 의미하지는 않습니다. AI가 공급업체를 잘못 생성하거나 연결 제거를 잘못 처리하면, 실제 돈이 나갔다가 다시 찾아와야 하는 상황이 발생합니다. 감사 가능성 부족도 매우 큰 문제입니다. "AI가 그렇게 말했습니다"라는 변명은 SOX 감사관 앞에서 통하지 않습니다.
AI 에이전트에는 가드레일과 권한이 설정되어야 합니다. 따라서 에이전트는 포괄적인 AI 감사 결과에 따라 허용된 정확한 작업만 수행할 수 있습니다. 또한 모든 작업은 가장 결정론적인 상태로 분해되어, 모델은 판단이 필요한 몇 가지 단계만 결정하고 모든 것을 처음부터 끝까지 처리하지 않습니다. 이렇게 함으로써 정확도는 97% 이상을 유지하며, 감사관과 경영진에게 제시할 수 있는 에이전트 추적 기록이 생성됩니다.
더 많은 포인트 솔루션이 상황을 악화시키는 이유
그래서 일반 도구를 건너뛰고 수많은 전문 도구를 구매합니다: Ramp, Brex, Bill의 AP 에이전트, HighRadius의 채권 관리, BlackLine과 FloQast의 결산 에이전트, 이 모든 것을 SAP와 Workday의 ERP에 밀어 넣고, 게다가 새로운 AI 네이티브 ERP까지 추가합니다. 제가 무엇을 말하려는지 아시겠습니까? AI는 마침내 각기 다른 기능을 하는 20개의 소프트웨어 벤더에서 벗어날 수 있는 이유가 되어야 했습니다. 기존 시스템 전반에 걸쳐 작동하는 단일 창이 필요합니다. 기존 시스템에는 이미 에이전트가 그 위에서 실행되는 데 필요한 모든 것이 갖춰져 있으며, 새로운 플랫폼은 필요하지 않습니다. 하지만 제가 보기에는 CFO들이 유감스럽게도 더 많은 소프트웨어 라이선스, 팀이 로그인하고 관리해야 할 더 많은 화면을 도입하고, 결국 거의 효율성 향상을 보여주지 못하고 있습니다.
실제로 효과가 있는 것
재무 부서에서 성공하는 모든 배포는 동일한 철학을 따릅니다: 팀이 로그인해야 할 또 다른 도구 대신, 기존에 실행 중인 소프트웨어 위에 그리고 그 사이에 위치하는 하나의 계층을 두는 것입니다. 이 계층은 NetSuite, Bill, Workday와 같은 소프트웨어에서 데이터를 읽고, 데이터를 이동시키며, 팀이 하는 것과 정확히 같은 방식으로 작업을 수행합니다. 도움이 필요한 경우, 팀이 조정할 수 있도록 편집 사항을 플래그로 표시합니다.
이렇게 함으로써 작업이 아닌 운영자를 보강합니다. 현재 각 도구는 작업의 일부를 자동화하지만, 중간에 있는 사람(한 화면의 숫자를 다른 화면으로 복사하고, 두 수치가 일치하는지 확인하고, 일치하지 않으면 독촉 이메일을 보내고, 아무도 응답하지 않으면 에스컬레이션하는 사람)을 자동화하는 도구는 없습니다. 이 사람이 바로 연결고리이며, 모든 가치는 이 연결고리에 있습니다: 처리 시간 단축은 시간을 절약하고 더 많은 수익을 더 빠르게 창출한다는 의미입니다.
이 예제를 예외 상황에 적용해 보겠습니다: 구매 주문 없이 도착한 송장을 상상해보세요. 현재 AP 분석가는 누가 주문했는지 알아내고, 받은 편지함을 필터링하여 올바른 PO를 찾은 다음, 매칭한 후에야 최종 승인을 진행해야 합니다. 예외 상황은 생각보다 흔하며, 이런 일은 한 달에 수백 번 발생합니다.
그러나 통합 에이전트 계층을 사용하면 AI가 송장이 도착하자마자 이 예외를 포착하고, 공급업체, 금액, 날짜를 기준으로 PO 시스템을 검색한 후, 분석가가 했던 것처럼 일치하는 항목을 자체적으로 최종 승인합니다. 에이전트가 확신이 서지 않으면, 가장 유력한 두 개의 PO를 Slack을 통해 분석가에게 보내고 어느 것이 올바른지 결정해 달라고 요청합니다. 15분의 조사 시간이 예/아니오를 결정하는 30초로 단축되며, 모든 정보는 미리 제공됩니다. 동일한 방식이 은행 거래 조정, 연결 제거, W-9 추적, 지불 상태 이메일, 감사관 요청 자료 목록(PBC list) 등에도 적용됩니다.
이 시스템을 실제로 구현하는 방법
저희는 매번 5가지 작업을 수행합니다:
- 현장 배치 엔지니어가 귀사 부서에 합류하여 모든 프로세스를 처음부터 끝까지 매핑합니다. 문서화된 프로세스와 SOP는 실제로 사람들이 실제로 수행하는 작업을 거의 포착하지 못합니다. 예를 들어: "문제가 생기면 먼저 이 스프레드시트를 확인합니다", "경고 시스템이 3년 동안 고장 나서 Sarah에게 직접 이메일을 보냅니다." 실제 사례: "SOP에는 송장이 시스템에서 PO와 매칭된다고 명시되어 있습니다." 하지만 실제로는 시스템에서 매칭되지만, PO가 생성되지 않은 경우가 있습니다. 이 경우 Brittany가 부서장에게 이메일을 보내 소급 PO를 요청합니다. 단, 금액이 $500 미만인 경우에는 부서 일반 비용 라인에 코딩하고 나중에 플래그를 표시합니다. SOP만 기반으로 에이전트를 구축하면 Brittany를 만나는 첫 순간에 오류가 발생할 것입니다. 그리고 이는 공교롭게도 프로덕션 첫날입니다. 이것이 사람들과 함께 앉아 그들이 일하는 방식을 지켜보는 것이 매우 중요한 이유입니다. 이는 서비스(컨설팅)와 소프트웨어(개발) 사이의 다리 역할을 하며, 동시에 성공적인 에이전트 롤아웃과 즉시 실패하는 막연한 시도 간의 차이를 만듭니다.
- 이미 사용 중인 도구 내에 구축합니다. 에이전트는 신입 사원이 NetSuite, SAP, BlackLine을 사용하는 방식과 동일하게 로그인하고, 동일한 화면을 탐색하며, 동일한 API를 호출합니다. 팀원 중 누구도 새로운 인터페이스를 배울 필요가 없으며, 사람들이 느끼는 유일한 변화는 쌓이는 작업이 줄어들고, 예외 처리가 빨라지며, 월말 결산 기간이 짧아진다는 것입니다.
- 대시보드 대신 작업을 수행하는 에이전트를 구축합니다. 대부분의 "재무용 AI"는 에이전트로 위장한 분석 도구입니다. 이 함정에 빠지지 마십시오. 모니터링과 보고는 이를 구동하는 에이전트 작업의 결과로 발생합니다. 네, 변화를 실제로 주도하고 있는지 확인하기 위해 구축 전에 KPI를 측정하는 것이 도움이 됩니다. 하지만 결과물이 백그라운드 에이전트가 아닌 대시보드나 챗봇이라면, 효율성을 포기하고 있는 것입니다. 화려한 보고 소프트웨어와 동등한 기능을 만드는 데 몇 달을 할애하지 마십시오.
- 실제 판단이 필요한 경우에만 에스컬레이션하고, 시간이 지남에 따라 개선되는 신뢰도 게이트를 앞에 둡니다. 목표는 순수한 패턴 매칭에 해당하는 70~85%의 업무를 팀의 업무 목록에서 제거하여, 그들의 시간을 영향력이 크고 판단력이 필요한 의사 결정에만 집중할 수 있도록 하는 것입니다. 동시에 팀이 에이전트의 작업에 응답(승인, 편집, 거부)할 때마다 이는 에이전트를 훈련시켜 정확도가 정체되거나, 더 나쁘게는 퇴보하는 대신 매주 향상되도록 합니다. 이것이 AI 엔지니어링이 중요한 이유입니다; 하네스(harness)는 시스템이 개선되도록 만드는 열쇠와 그것이 사그라들도록 만드는 결정적인 요소가 될 수 있습니다.
- 첫날부터 전체 부서를 위해 설계합니다. 이는 기업 수준의 에이전트 구현에서 가장 간과되는 측면입니다. 각 운영자가 바이브 코딩 도구를 사용하여 자신의 업무만을 위한 에이전트를 구축하지만, 자신의 작업 이상으로 확장할 수 없다고 상상해보십시오. 이는 더 큰 그림을 놓치는 것입니다. 종종 그들의 병목 현상은 상위 프로세스에 있습니다. 하지만 상위 팀이 자신만의 에이전트를 구축하면, 이는 하위 팀의 에이전트와 소통하지 않습니다. 매우 빠르게 수십 개의 에이전트가 생성되고, 모두 각자의 활동에 고립되며, 소통은 없고, 조직 전체에 기술 부채만 쌓이게 됩니다. 대신, 조직 전체를 매핑하고, 누가 누구의 병목인지 이해한 후, 이를 염두에 두고 구축하십시오.
토큰 비용 폭주와 에이전트 환각 현상 방지
토큰에 수백만 달러를 지출하지 않는 방법: 좋은 AI 에이전트는 대부분 AI가 아닙니다. 저희가 제공하는 것은 약 85%의 일반 코드와 약 15%의 모델 호출로 구성됩니다. 모델은 지저분한 송장에서 값을 읽거나, 예외를 알려진 버킷 중 하나로 분류하거나, 사람이 승인할 메모를 작성하는 등 판단이 실제로 필요한 경우에만 사용됩니다. 반면, 대부분의 작업은 비교(수학), 조회(필터링), 라우팅(if/then/else 문), 게시(API 호출)입니다. Claude Cowork와 비교해보면, 거의 모든 작업이 LLM에 의해 확률적으로 결정됩니다. 대신, 저희는 더 빠르고, 저렴하며, 더 정확한 에이전트를 보유하고 있습니다. LLM은 단지 해결책의 열쇠(Unlock)였을 뿐입니다.
오류를 거의 0에 가깝게 만드는 방법: 세 가지 계층.
- 결정론적 코드: 설계상 일관성을 유지하므로 감사가 가능합니다.
- 평가(Evals): 수동으로 생성되지만 자동으로 업데이트되는 테스트 스위트로, 정답과 에이전트가 거친 경로를 모두 확인하여 에이전트가 허용되지 않은 곳으로 가거나, 원하는 동작 방식과 일치하지 않는 결과를 생성하는 것을 포착할 수 있습니다.
- 인간 피드백: 팀이 수행하는 모든 승인 및 수정은 시스템을 훈련시키며, 워크플로의 정확도는 몇 달 안에 90% 후반대로 상승합니다. GL 코딩이 약 85%에서 97% 이상으로 올라가는 것을 수정 사항이 쌓임에 따라 확인할 수 있습니다. 그리고 블랙박스 대신 코드와 평가가 있기 때문에, 이해관계자나 감사관이 질문할 때마다 "에이전트가 왜 이렇게 했는지"에 대한 답을 할 수 있습니다. 수평적 에이전트는 이렇게 할 수 없습니다.
이것은 어떻게 측정됩니까?
다행히도, 에이전트가 모든 워크플로와 모든 소프트웨어 조각에 걸쳐 귀사의 기록 시스템에 상주할 때, 가장 세분화되고 실시간 수준으로 데이터를 추적할 수 있는 능력을 갖게 됩니다. 예외의 80%가 에이전트에 의해 처리되고 있으며, 예외 조정 시간이 4일에서 2시간으로 단축되었음을 매우 명확하게 알 수 있습니다. 몇 가지 실제 결과:
- 결산 기간: 12일에서 5일로 단축
- 예외 처리 시간: 월 130시간에서 20시간으로 감소
- 송장 처리 시간: 평균 20분에서 1분 미만으로 단축
모든 AI 구현에 중요한 가치 창출 버킷은 3가지뿐입니다. 시간/비용을 절약하고 있습니까? 수익을 증가시키고 있습니까? 위험을 줄이고 있습니까? 측정하는 모든 것을 이 3가지 범주로 분류하고, 가치 창출 및 KPI 목적에 따라 측정하는 것이 도움이 됩니다.
어디서부터 시작해야 합니까?
조직 내 프로세스 소유자를 찾아 그들로부터 시작하십시오. 현재 그들의 프로세스가 무엇인지 깊이 이해하십시오(추가 정보를 위해 하위 프로세스 소유자, 분석가, 개인 기여자 등과 대화할 준비를 하십시오). 다음 사항을 철저히 파악하십시오:
- 오늘날 업무는 어떻게 진행됩니까? 말하자면 워크플로의 유전자는 무엇입니까?
- 각 작업의 데이터 볼륨과 처리량은 얼마입니까?
- 현재 오류율은 얼마이며, 오류 한 건의 비용은 얼마입니까?
- 예외는 어떻게 처리되며, 어떤 형식으로 처리됩니까?
여기서부터 학습 내용을 바탕으로 다음을 매핑하기 시작하십시오:
- 각 워크플로에 대해 AI가 할 일과 하지 않을 일은 무엇입니까? 각 프로세스에 대한 포스트 AI 시대는 어떤 모습일까요?
- 3가지 가치 창출 버킷에 걸쳐 각각의 정량화 가능한 금액은 얼마입니까?
- 각 구축에 얼마나 많은 시간과 노력이 필요합니까? 각각의 위험은 무엇입니까?
가치 창출과 투자를 비교하면, 이제 우선순위 목록이 나옵니다.
요약하자면, 플랫폼을 구매하지 말고 데이터 사이언스 팀을 구성하지 마십시오. 이 전체 프로세스는 1년 내내 걸릴 필요조차 없습니다. 대신 귀하의 팀과 함께 앉아 실제 워크플로를 배우고, 귀사가 이미 실행 중인 시스템 내에 에이전트를 구축하며, 모든 단계를 측정할 사람을 찾아야 합니다. 최종 상태를 먼저 확인하고 싶다면, 저희가 프로세스에 대한 5분 짜리 워크스루를 여기에 마련했습니다.
이것이 바로 Varick Agents에서 하는 일입니다. 저희는 매출 10억 달러 규모의 기업부터 500억 달러 이상을 거래하는 Fortune 500 대기업에 이르기까지 재무, 영업, 운영 팀과 협력하여 그들의 기존 시스템 내에서 그들의 도구를 실행하는 에이전트를 구축했습니다. 저희는 분기에 소수의 신규 계약만 수락하며, 현재 가을 코호트를 계획 중입니다. 귀사의 결산이 여전히 2주가 걸리고 최고의 인재들이 여전히 데이터 입력을 하고 있다면, varickagents.com에서 저희를 찾아주십시오.





