데이터 인프라의 거인, Databricks: AI 시대의 데이터 관리와 비즈니스 성장 전략
5월 SaaStr과 6월 Databricks 자체 행사(Data + AI Summit 2026)에서 공통적으로 전달된 메시지는 다음과 같습니다: "좋은 데이터가 좋은 에이전트를 만든다." 서밋을 관통한 핵심 질문은 "어떤 AI 모델이 가장 똑똑한가"가 아니라 "어떤 데이터 인프라가 실제 비즈니스 운영에서 AI를 안정적으로 실행할 수 있는가"였습니다.
화려한 AI 에이전트 데모가 종종 주목을 받지만, 기업이 실제 운영 환경에서 AI를 실행하려면 데이터 인프라가 필수적입니다. AI가 참조하는 데이터가 오래되었거나, 제대로 정의되지 않았거나, 적절한 권한 관리가 부족하다면, 아무리 뛰어난 모델도 올바른 결정이나 실행을 제공하지 못합니다.
Databricks는 이 데이터 인프라 계층에서 세계적 수준의 평가를 받고 있습니다. 창립 후 13년 이상 동안, 이 회사는 "빅데이터 처리를 위한 Spark"에서 "데이터 레이크하우스"로, 그리고 현재는 "기업 AI 인프라"로 확장해 왔습니다.
이 글은 비즈니스 관점에서 Databricks의 가치를 정리하고, AI 시대에 왜 다시 주목받고 있는지 탐구하며, 일본 스타트업에 주는 시사점을 고려합니다.
1. 지금 Databricks에 주목해야 하는 이유: 1,340억 달러 이상의 가치, 프라이빗 소프트웨어 기업 중 최상위권
1.1 세계적 프라이빗 기업: Snowflake에 버금가는 매출 규모와 더 높은 성장률
먼저, 규모입니다. Databricks는 최근 Series L에서 1,340억 달러의 가치를 인정받았으며, 2026년 2월 추가 마감을 통해 총 70억 달러 이상(약 50억 달러의 지분 + 20억 달러의 부채)을 확보했습니다. 달러당 160엔 환율로 계산하면 가치는 약 21조 엔에 달합니다.
이러한 가치 평가는 Anthropic, OpenAI와 같은 생성형 AI 기업의 폭발적인 부상 이전에도 Databricks가 이미 세계에서 가장 높은 가치를 인정받은 프라이빗 소프트웨어 기업 중 하나였다는 것을 의미합니다. CNBC의 2026년 "Disruptor 50" 목록에서 3위를 차지했으며, Anthropic 및 OpenAI와 함께 글로벌 선도 기술 기업으로 자리매김했습니다.
가치 평가만이 아닙니다. Databricks의 연간 매출 실행률은 54억 달러를 넘어섰으며, 전년 대비 성장률은 65%를 초과합니다. 반면, Snowflake의 2026 회계연도 전체 제품 매출은 약 45억 달러였으며, 성장률은 약 30%였습니다.
Databricks의 수치는 연간 실행률이고 Snowflake의 수치는 전체 연간 실적이므로 직접 비교에는 주의가 필요하지만, Databricks가 Snowflake에 필적하는 매출 규모에 도달하면서도 훨씬 더 높은 성장률을 유지하고 있다는 것은 분명합니다.
왜 Databricks가 이렇게 큰 모멘텀을 얻고 있을까요? 그 배경에는 두 회사의 서로 다른 기원이 있습니다.
두 회사 모두 기업 데이터를 다루지만, 출발점은 정반대였습니다. Snowflake는 SQL을 사용하여 구조화된 데이터(예: 판매 테이블, 고객 목록)를 빠르게 집계 및 분석하여 "과거에 무슨 일이 일어났는지" 확인하는 것에서 시작했습니다. 반면 Databricks는 대규모의 복잡한 데이터(예: 로그, 기계 데이터)를 처리하여 머신러닝과 AI에 사용할 수 있도록 준비하는 것에서 시작했습니다.
비즈니스에서 AI를 활용하려면 구조화된 데이터뿐만 아니라 로그, 문서, 이미지, 오디오, 실시간 데이터를 관리하고 AI가 사용할 수 있도록 준비하는 것이 중요합니다. 이것이 바로 Databricks의 전문 분야가 AI 시대에 재평가되는 이유입니다. 물론 이는 기원에 불과하며, 오늘날 Snowflake와 Databricks는 모두 서로의 영역으로 확장하여 경쟁 분야가 상당 부분 겹치고 있습니다.
1.2 13년간 주요 기술 트렌드를 따라잡다
규모 외에도 Databricks가 흥미로운 이유는 2013년 창립 이후 주요 기술 트렌드에 맞춰 지속적으로 포지셔닝을 업데이트해 왔기 때문입니다. 빅데이터 처리의 핵심 기술인 Apache Spark에서 시작했습니다. 그런 다음 데이터 레이크와 데이터 웨어하우스를 통합한 "레이크하우스"를 출시했으며, 현재는 기업의 AI 활용을 지원하는 인프라로 확장하고 있습니다.
주목할 점은 그 성과가 이러한 기대에 부응하고 있다는 것입니다. 전년 대비 65% 이상의 매출 실행률 성장을 유지하면서도, trailing 12개월 기준으로 긍정적인 잉여 현금 흐름을 달성했으며, 총 마진은 약 80%로 보고되었습니다. 이는 프라이빗 기업이 공개한 제한된 지표이지만, 높은 성장과 현금 창출을 동시에 입증했다는 점이 높은 투자자 평가의 주요 이유입니다.
그러나 Databricks는 2026년 IPO에 대해 신중한 입장을 유지하고 있습니다. CEO Ali Ghodsi는 2024년 6월 Bloomberg TV 인터뷰에서 "우리는 결국 상장할 것입니다. 하지만 올해는 상장하기에 최악의 해입니다."라고 말했습니다. SpaceX, Anthropic, OpenAI의 대규모 IPO가 예상됨에 따라, 기관 자본을 위한 과밀한 시장을 피하려는 것으로 보입니다.
상장을 서두르는 대신, 프라이빗 시장 자금 조달을 가속화하고 있습니다. 2026년 6월, The Information은 Databricks가 1,650억 달러에서 1,750억 달러(약 26~28조 엔)의 가치로 새로운 라운드를 협상 중이라고 보도했습니다.
1.3 "중간 계층"의 가치는 보기 어렵다
우리가 매일 보는 소프트웨어는 Slack이나 Salesforce와 같은 "비즈니스 앱"입니다. 사용자 작업에 직접적으로 관여하기 때문에 그 가치를 전달하기가 상대적으로 쉽습니다. 반면, Databricks와 같은 회사는 배후에서 데이터를 지원하는 "기반" 입니다. 이것이 바로 "중간 계층" 또는 "데이터 인프라"입니다.
소프트웨어 세계에서는 "가치 포착(Value Capture)"이 고객과 더 가까운 상위 계층, 즉 애플리케이션에 집중되는 경향이 있다고 자주 말합니다. 애플리케이션은 눈에 보이지만, 기본 인프라 계층은 종종 최종 사용자에게 숨겨져 있고 상품화되기 쉽습니다.
이러한 인프라 계층에 있음에도 불구하고 Databricks가 왜 이렇게 높은 평가를 받을까요? 다음 장에서 그 강점의 원천을 살펴보겠습니다.
2. Databricks의 강점: "데이터의 달인"이 싸우는 방법
2.1 뿌리: "빅데이터 처리를 100배 빠르게 만든 천재 그룹"
Databricks의 강점은 창립 멤버에서 비롯됩니다. 2013년, UC 버클리 AMPLab의 연구원들이 회사를 설립했습니다. 그들은 빅데이터 처리를 대표하는 오픈 소스 기술인 Apache Spark의 핵심 개발자였습니다.
당시 기업이 처리하는 데이터의 양은 폭발적으로 증가하고 있었고, "대규모 데이터를 빠르게 처리하는 방법"은 주요 과제였습니다. 주류였던 Hadoop MapReduce는 대규모 배치 처리에는 강했지만, 반복적인 디스크 읽기 및 쓰기로 인해 반복적인 머신러닝과 대화형 분석에는 속도 제한이 있었습니다.
여기에 Matei Zaharia(현 Databricks CTO) 등이 개발한 Apache Spark가 등장했습니다. Spark는 메모리 기반 분산 처리를 활용하여 특정 워크로드를 Hadoop MapReduce보다 최대 100배 빠르게 처리할 수 있었습니다.
간단히 말해, PC가 데이터를 하드 드라이브 안팎으로 계속 이동시키면 느리지만, 책상(메모리) 위에 데이터를 펼쳐 놓으면 작업이 더 빠릅니다. Spark는 이 개념을 대규모 분산 데이터 처리에 적용했습니다.
Spark는 2010년에 오픈 소스로 출시되어 표준 기술이 되었습니다. Databricks의 독특한 점은 이렇게 널리 사용되는 오픈 소스 커뮤니티와 깊이 연결된 멤버들이 상용 서비스를 개발하고 있다는 것입니다.
2.2 "레이크하우스": 데이터 레이크와 웨어하우스를 통합하는 아이디어
Databricks는 "레이크하우스" 개념을 강력하게 추진했습니다. 이 아키텍처는 데이터 레이크의 유연성과 데이터 웨어하우스의 관리 및 분석 성능을 결합합니다.
- 데이터 웨어하우스 = "정리된 창고"와 같습니다. 판매, 고객, 재고와 같은 구조화된 데이터를 고정된 형식으로 고속 분석하는 데 적합합니다.
- 데이터 레이크 = "큰 저수지"와 같습니다. 로그, 이미지, 비디오, 문서와 같은 대규모의 다양한 데이터를 있는 그대로 저장하기 쉽습니다. 그러나 제대로 관리되지 않으면 분석이 어려워질 수 있습니다.
전통적으로 많은 기업이 이 둘을 별도로 유지하여 데이터 복사, 이동, 이중 관리에 비용을 발생시켰습니다. Databricks의 레이크하우스는 단일 플랫폼에서 "정리된 창고의 사용성"과 "큰 저수지의 유연성"을 모두 달성하는 것을 목표로 합니다. 이것이 "Lake + House = Lakehouse"입니다.
이 접근 방식을 사용하면 예를 들어 "모든 고객 행동 로그, 문의 내역, 구매 데이터를 한 곳에서 처리하고 AI가 다음 최적의 행동을 제안하도록" 하면서 데이터 이동을 최소화할 수 있습니다.
2.3 AI 시대의 중요성 증가: "데이터만 있다고" 충분하지 않다
생성형 AI의 등장으로 Databricks의 중요성은 더욱 커졌습니다. 이는 기업이 AI를 진지하게 사용하려면 모델 자체뿐만 아니라 내부 데이터의 품질, 신선도, 권한, 맥락을 정리해야 하기 때문입니다.
아무리 고성능 AI 모델이라도 참조하는 데이터가 오래되었거나 모호하거나 접근 제어가 없다면 올바른 결정으로 이어지지 않습니다. Databricks는 "기업 데이터를 AI 사용에 맞게 준비하는" 계층을 제어하기 때문에 주목받고 있습니다.
간과되는 본질은 데이터는 단순히 저장되어서는 안 된다는 것입니다. 예를 들어, 부서별로 "매출"의 정의가 다르면 AI는 같은 질문에 다른 답변을 할 수 있습니다. 관리되는 데이터 계보와 정확성이 없으면 그럴듯하지만 틀린 답변을 생성할 위험이 있습니다.
따라서 AI 시대에는 AI가 안전하고 정확하게 사용할 수 있도록 데이터를 정리하고 관리하는 가치가 높아지고 있습니다. 이것이 바로 Databricks가 탁월한 분야입니다.
실제로 Databricks의 AI 제품 매출 실행률은 14억 달러에 도달하여 회사 전체 매출 실행률의 약 4분의 1을 차지합니다.
2.4 "데이터 인프라"에서 "AI 에이전트를 위한 OS"로
이제 Databricks는 다음 영역으로 나아가고 있습니다.
2026년 6월 샌프란시스코에서 열린 "Data + AI Summit 2026"에서 Databricks의 다음 방향성이 더욱 명확해졌습니다. 분석가들은 Databricks가 레이크하우스를 단순한 데이터 플랫폼에서 AI 에이전트를 실행하기 위한 "OS"로 진화시키고 있다고 봅니다.
비즈니스 관점에서 Databricks는 자신을 "데이터를 넣는 장소"에서 "기업이 AI 에이전트와 비즈니스 앱을 안전하게 구축, 실행, 관리, 수익화할 수 있는 통합 플랫폼"으로 재정의하고 있습니다.
주요 발표 사항은 다음과 같습니다.
- Unity AI Gateway: 다양한 AI 에이전트, 모델, 도구를 중앙에서 관리하고 모니터링하여 비용과 권한을 제어하는 "체크포인트"입니다.
- Agent Bricks: AI 에이전트를 개발하고 운영하기 위한 플랫폼입니다. 출시 이후 10만 개 이상의 에이전트가 구축되었습니다.
- Lakebase: AI 에이전트와 앱을 위해 설계된 새로운 데이터베이스 인프라로, Neon 인수를 통해 얻은 기술을 통합했습니다.
- Lakehouse//RT & LTAP: 동일한 데이터 플랫폼에서 "즉시 트랜잭션 처리"와 "분석"을 모두 처리하여 100ms 미만의 응답을 목표로 하는 비전입니다.
- CustomerLake: 고객 데이터 플랫폼(CDP) 영역에 진출하여 회사의 데이터 인프라 내에서 마케팅 데이터를 직접 처리합니다.
이는 Databricks의 다음 움직임을 보여줍니다. AI 에이전트가 진정으로 유용하려면 정확한 기업 데이터와 그 맥락을 이해해야 합니다. Databricks는 저장 및 관리 계층을 제어함으로써 AI 에이전트와 비즈니스 앱이 실제로 실행되는 계층으로 올라가고 있습니다.
3. 전략적 강점: 기술 트렌드를 성장으로 전환하는 모델
3.1 오픈 소스를 통한 표준화: 커뮤니티 확장, 상용 플랫폼을 통한 수익화
Databricks의 일관된 무기는 오픈 소스입니다. Apache Spark, Delta Lake(안정성), MLflow(머신러닝 라이프사이클), Unity Catalog(거버넌스)와 같은 핵심 기술을 오픈 소스로 확장했습니다.
이는 단순한 자선 활동이 아닙니다. 생태계를 구축하기 위한 전략입니다. 기술을 오픈함으로써 (1) 전 세계 개발자가 사용하는 사실상의 표준이 되고, (2) 표준화로 인해 상용 관리 및 보안 기능이 더 매력적이게 되며, (3) 고객이 특정 벤더에 종속되지 않는다는 안심감을 줍니다.
3.2 선제적 인수: 부족한 역량 흡수
두 번째 무기는 풍부한 자본을 활용한 민첩한 인수입니다.
- MosaicML (2023년, 약 13억 달러): 기업이 자체 데이터를 사용하여 AI 모델을 훈련하고 맞춤화할 수 있는 기술입니다. 현재 Mosaic AI의 기반이 되고 있습니다.
- Tabular (2024년, 10억 달러 이상): Apache Iceberg의 창시자들이 설립했습니다. 인수를 통해 Databricks는 개방형 데이터 형식에서 중립성과 상호 운용성을 높였습니다.
- Neon (2025년, 약 10억 달러): 서버리스 Postgres 제공업체입니다. 이 기술은 AI 에이전트가 필요에 따라 데이터베이스를 생성하는 세상을 예상하여 Lakebase를 구동합니다.
3.3 중립성 촉진: 종속 우려에 대응
Databricks는 폐쇄적이기보다는 여러 AI 모델과 데이터 형식을 처리할 수 있는 플랫폼으로 자리매김합니다. Anthropic, OpenAI, Google 등의 모델과 통합을 허용하여 고객이 작업에 가장 적합한 도구를 선택하면서도 관리는 중앙에서 할 수 있도록 합니다.
4. 일본 스타트업에 주는 시사점: 동적 데이터와 산업 특화
4.1 본질: "움직이는 데이터"를 처리하는 능력
Databricks의 핵심 강점은 "계속 움직이는 데이터"를 처리하는 능력입니다. 전통적인 분석은 과거의 정적인 스냅샷을 보는 것이었습니다. AI 에이전트 시대에는 지속적으로 업데이트되는 데이터를 읽고 즉각적인 결정을 내리는 것(예: 사기 탐지 또는 제안을 밀리초 단위로 변경)이 핵심입니다.
4.2 왜 "산업별 데이터 플랫폼"이 기회인가
수평적 플랫폼인 Databricks와 정면으로 경쟁하는 것은 규모의 경제와 인프라의 글로벌 특성으로 인해 어렵습니다. 일본 스타트업에게 더 명확한 승리 경로는 범용 플랫폼이 도달할 수 없는 "틈새", 즉 "산업별 데이터 플랫폼" 을 공략하는 것입니다.
대표적인 예는 제약 산업의 Veeva Systems입니다. Veeva는 업계별 규정과 워크플로우를 깊이 이해함으로써 성공했으며, 결국 해당 분야의 인프라가 되었습니다.
왜 수평적 플랫폼이 여기서 어려움을 겪을까요? 제조업이나 건설업의 "청사진"을 예로 들어 보겠습니다. 청사진은 단순한 이미지가 아닙니다. 치수, 재료, 부품에 대한 업계별 표기법이 포함되어 있습니다. Databricks는 파일을 저장할 수 있지만, "이 형태가 조달 비용, 공급업체, 규정과 어떻게 관련되는지"를 본질적으로 이해하지는 못합니다.
4.3 승리를 위한 세 가지 조건
저는 다음 세 가지 조건이 겹치는 곳에 기회가 있다고 생각합니다.
- 언어 및 비즈니스 관행 장벽: 일본 청사진이나 특정 지역 거래 관행과 같이 글로벌 플랫폼이 처리하기 어려운 영역.
- 업계별 "물리적 자산"에 대한 심층적인 의미 부여: 비즈니스 자산으로 전환하기 위해 도메인 지식이 필요한 의료 이미지나 금융 양식과 같은 데이터.
- 비즈니스 워크플로우로의 통합: 검색/분석을 넘어 조달, 견적, 감사와 같은 실제 실행 단계로 진입.
요약: 향후 10년은 "누가 데이터, 의미, 실행에 가장 가까워지는가"의 싸움
Databricks는 기업 데이터를 안전한 AI 사용에 맞게 준비하는 기반을 제어하기 때문에 세계적 수준의 소프트웨어 회사입니다. OSS를 통한 표준화, 선제적 인수, 중립성 유지라는 전략은 성장을 위한 청사진을 제공합니다.
일본의 도전자들에게 주는 교훈은 수평적 거인과 정면 승부를 피하고, 그 위에 위치한 "산업별 의미 계층"이 되는 데 집중하라는 것입니다. 향후 10년 동안 AI 에이전트가 본격적으로 작동하기 시작하면, 데이터, 그 의미, 비즈니스 실행을 제어하는 사람이 승리할 것입니다.
