Baidu Paddle 가 최근 차세대 OCR 모델인 PP-OCRv6 를 공식 출시했습니다.
Tiny, Small, Medium 세 가지 모델 크기를 제공하며, 50 개 이상의 언어를 지원하고 브라우저, 임베디드 기기부터 서버까지 모든 환경을 아우릅니다.
핵심 데이터:
- 텍스트 탐지 및 인식 작업 점수: 86.2 및 83.2
- 종합 OCR 성능(탐지 + 인식) 글로벌 1위, Qwen3-VL-235B, GPT-5.5, Gemini-3.1-Pro 등 범용 비전-언어 모델을 앞섬
- Tiny 모델은 1.5MB 에 불과하며, 단일 이미지 예측에 97ms(CPU) 소요, 브라우저 환경에서 실행 가능
- 이미 UmiOCR, MinerU 등 도구에 통합되어 GitHub Stars 82,200 개 이상 확보
직접 "지옥 난이도" 이미지 3 개로 테스트해보며 그 한계를 확인했습니다.
OCR 인식률이 68% 에 불과하다면 어떤 의미일까요?
한 가지 시나리오를 상상해보세요:
영어와 중국어 조항, 숫자 금액, 법률 용어가 혼합된 금융 계약서가 있습니다.
Tesseract 로 OCR 을 실행했더니 인식률이 68% 입니다.
내용의 3분의 1이 틀렸습니다.
이후의 LLM 분석, 위험 요소 추출, 자동 아카이빙은 모두 잘못된 데이터를 기반으로 맹목적으로 실행됩니다.
이는 Tesseract 자체의 문제가 아닙니다.
복잡한 레이아웃(수식, 표, 도장, 다국어 혼합)에서 텍스트 인식률이 일반적으로 70% 미만으로 떨어지는, 기존 오픈소스 OCR 의 공통적인 딜레마입니다. 출처
설상가상으로, "GPT-5.5 로 OCR 을 하면 안 될까?"라고 생각할 수도 있습니다.
235B 파라미터, 고성능 GPU 에서 이미지 1 개 인식에 2 초, 유료이며 정확도는 그저 그렇습니다.
PP-OCRv6 는 무엇을 해냈을까요?
Tiny 모델은 1.5MB 에 불과하며 브라우저 측(CPU)에서 97ms 만에 완료됩니다. Medium 모델은 34.5M 파라미터, 90%+ OCR 인식 정확도를 자랑하며 텍스트 탐지 및 인식에서 GPT-5.5 및 모든 기존 오픈소스 OCR 을 능가합니다.
데이터는 거짓말하지 않습니다:
이 10-20% 포인트 차이는 "사용 가능"과 "사용 불가능"의 차이입니다.
세 가지 "지옥 난이도" 이미지를 직접 테스트했으며, 그 결과는 다음과 같습니다.
테스트 1: 어두운 배경 + 빽빽한 작은 텍스트
이는 OCR 의 지옥 난이도입니다.
테스트를 위해 테크 스타일 포스터를 사용했습니다. 어두운 네온 배경, 빛나는 데이터 패널, 빽빽한 중영 혼합 텍스트, 다양한 글꼴 크기가 뒤섞여 있습니다.
이런 종류의 이미지는 많은 OCR 이 처참하게 실패하는 부분입니다.
테스트 결과:
✅ 주요 제목 "Mastering Codex", "Master 97% of functions in 30 minutes" — 빛나는 글꼴, 단 한 글자도 놓치지 않음
✅ 작은 라벨 "14 steps", "Skills", "MCP Connection" — 어두운 배경의 작은 텍스트, 모두 복원
✅ 통계 수치 "98%", "1200+", "85%" — 하나도 놓치지 않음
✅ "Efficient Intelligent Data Processing Capability"와 같은 하단 세부 정보 — 가장 작은 글꼴 크기까지 인식
✅ 중영 혼합, 단일 모델로 한 번에 완료
인식 속도:
온라인 인식은 약 1-2 초 소요 (네트워크 업로드 시간 포함)
결론: 복잡한 배경 + 발광 효과 + 초소형 텍스트 + 중영 혼합; 네 가지 난이도를 동시에 처리했습니다. 그 "시력"은 실제로 Agent 의 눈 역할을 하기에 충분히 좋습니다.
테스트 2: 금융 송장
실제 비즈니스 시나리오입니다.
다음으로 부가가치세 송장을 테스트했습니다. 이는 기업에게 가장 흔한 OCR 요구 사항이자 데이터를 절대 외부로 보낼 수 없는 시나리오입니다.
인식 효과:
✅ 송장 코드/번호 031002200711, 59905674 — 초소형 글꼴, 100% 정확
✅ 복잡한 숫자 문자열 1+3-887•97•-9642-6-62967770 — 특수 기호가 포함된 긴 문자열, 단 하나의 오류도 없음
✅ 금액 ¥535.00, ¥504.72, ¥30.28, 세율 6% — 정밀 인식
✅ 비밀번호 영역의 긴 임의 문자 문자열 — 완전 복원
✅ 구매자/판매자 이름, 납세자 번호, 주소 및 전화번호 — 모두 정확
✅ 빨간 도장 안의 텍스트도 인식됨 (빨간 원의 간섭에도 불구하고)
가장 놀라운 점:
송장에 있는 극도로 작은 글꼴 크기(아마 8-10 포인트), 빽빽한 숫자, 특수 기호(•, -, +)를 PP-OCRv6 가 모두 정확하게 인식했습니다. 이러한 정밀도는 기존 OCR 로는 달성할 수 없습니다.
핵심 발견: 구조적 추출 기능
각 필드의 좌표 위치를 반환할 수 있으므로, 직접 구조적 추출을 수행할 수 있습니다:
1// 좌표 위치에 따라 필드 유형 결정2results.forEach(item => {3 if (item.box.y < 100) {4 // 상단 영역 → 송장 코드/번호5 } else if (item.text.includes('¥')) {6 // 통화 기호 포함 → 금액 필드7 }8});
이 기능을 통해 PP-OCRv6 는 단순히 "텍스트를 보는" 것을 넘어 "문서 구조를 이해"할 수 있습니다. 이는 OCR 에서 Document AI 로 가는 핵심 단계입니다.
테스트 3: 손글씨 메모
이제 스트레스 테스트를 해볼 차례입니다.
마지막으로 손글씨 메모를 테스트했습니다. 이는 기존 OCR 의 난제입니다. 지저분한 필기체, 연결된 획, 종이의 구김 등이 있습니다.
테스트 결과:
✅ 날짜 인식 "August 30, 2025" — 완전 정확
✅ 손글씨 본문 "Stayed at home all day today, missed dancing twice" — "那"의 지저분한 필체까지 인식됨
✅ 인테리어 목록 전체 인식:
- "Hard decoration 109k," "3 ACs: 26k," "3 Glass: 11.5k"
- "Appliances 180k," "Water heater: 3000"
- "Stove/Hood: 7000," "Washer/Dryer: 5000"
- "Fridge 3000" ✅ 복잡한 숫자 "Sent 44k today (including fridge)," "Current: 214.5k" — 손글씨 숫자와 금액이 모두 정확하게 인식됨
인식률 평가:
- 깔끔한 손글씨: 약 90% 인식률
- 핵심 정보(날짜, 프로젝트명, 금액): 거의 100%
- 지저분한 필기체 부분: 약 70-80% 인식률, 하지만 전반적인 이해에는 지장 없음
예상치 못한 발견:
손글씨의 경우에도 PP-OCRv6 는 구조화된 정보(날짜, 금액, 목록)에 대해 강력한 인식 능력을 보여줍니다. 이는 손글씨 양식, 송장, 회의록 등에 사용할 수 있음을 의미합니다. 핵심 필드를 잡아내는 데는 100% 정확도가 필요하지 않습니다.
결론:
PP-OCRv6 가 만능은 아닙니다. 극도로 지저분한 손글씨는 여전히 어려운 과제입니다. 그러나 깔끔한 손글씨, 인쇄된 텍스트, 선명한 스크린샷 및 스캔본에 대해서는 상용화 수준의 성능을 보여줍니다.
어떤 시나리오에서 반드시 로컬화(온프레미스)가 필요할까요?
PP-OCRv6 의 적용 시나리오는 기업 사무, 의료, 교육/연구, 개발자 도구, 정부 기록물, 전자상거래, 금융/보험 등 다양합니다.
몇 가지 대표적인 시나리오를 소개합니다.
💼 기업 사무: 자동 경비 정산
한 제약회사는 PP-OCR 을 도입한 후 출장 경비 정산 시간을 5.3 일에서 4.2 시간으로 단축했습니다. 출처
프로세스:
직원이 송장 업로드 → 브라우저 측 필드 추출(금액, 날짜, 거래처) → 규칙 검증 → 예외 사항 LLM 전송 → 자동 입력.
로컬화가 필요한 이유는 무엇일까요?
재무 증빙에는 공급업체, 가격, 원가 구조 등의 운영 데이터가 포함되어 있어, 타사 API 에 업로드하는 것은 규정 준수의 레드라인입니다. 로컬화를 통해 데이터를 브라우저 내에 안전하게 보관할 수 있습니다.
🏥 의료: 전자 의무 기록
의무 기록에는 환자 프라이버시(이름, ID, 병명)가 포함되어 있어 퍼블릭 클라우드에 업로드할 수 없습니다.
솔루션 비교:
- 기존 사설 구축: 높은 비용, 무거운 유지보수
- PP-OCRv6 브라우저 측: 직접 실행, 서버 비용 제로
프로세스:
스캐너가 의무 기록 이미지 업로드 → 로컬 OCR 인식 → 데이터 비식별화 후 저장. 원본 데이터는 작업자 컴퓨터를 벗어나지 않습니다.
⚖️ 법률 계약: 영업 비밀 보호
로펌 AI 어시스턴트는 계약 조항(당사자, 금액, 조건, 책임)을 추출해야 합니다. 하지만 계약서는 핵심 고객 영업 비밀입니다.
로컬화된 프로세스:
계약서 스캔본 업로드 → 브라우저 측 OCR 이 전체 텍스트 추출 → 로컬 LLM 이 조항 추출 수행 → 검토 보고서 생성. 데이터가 변호사 워크스테이션을 떠나지 않아 변호사-의뢰인 비밀 유지 계약을 충족합니다.
이 시나리오에서 로컬화는 "가능"과 "불가능"의 차이를 만듭니다.
실제 사용자 피드백:
한 로펌 개발자는 PP-OCRv6 로 업그레이드한 후 "속도와 효과가 V5 보다 훨씬 좋습니다."라고 보고했습니다. 사건 파일의 포맷 정리 및 비식별화에 직접 사용됩니다. 출처
💻 개발자 도구: 스크린샷을 텍스트로
개발자는 디자인 시안, 문서 또는 로그에서 텍스트를 추출해야 하는 경우가 많습니다. 클라우드 API 는 네트워크 지연(200-500ms), 호출 제한이 있으며, 코드 스니펫은 외부 전송에 적합하지 않습니다.
로컬화된 경험:
스크린샷 → 단축키 → 로컬 인식 → 붙여넣기. 전체 과정이 200ms 가 소요되며 인터넷이 필요 없습니다. OCR 이 "API 대기"에서 "단축키 누르기"로 바뀌어 워크플로우의 일부가 됩니다.
📚 더 많은 시나리오
교육/연구: 채점 보조, 학술 문헌 디지털화, 손글씨 노트 정리.
정부 기록물: 역사 기록물 디지털화, 신분증 정보 추출, 문서 흐름 관리.
전자상거래: 상품 정보 입력, 물류 문서 인식, 송장 검증.
금융/보험: 보험 증권 정보 추출, 은행 전표 인식, 리스크 관리 자료 처리.
완벽한 로컬화된 Agent 루프
PP-OCRv6 의 가치는 단순히 "정확한 인식"이 아닙니다. 바로 "이 인식 단계에 인터넷이 필요 없다"는 점입니다.
브라우저에서 실행된다는 것은 데이터가 로컬을 절대 벗어나지 않는 루프를 구축할 수 있음을 의미합니다:
1로컬 이미지/스크린샷2 ↓3PP-OCRv6 (브라우저 측, 97ms) ← 데이터가 이 기기를 벗어나지 않음4 ↓5구조화된 텍스트6 ↓7로컬 LLM / 로컬 규칙 처리8 ↓9자동 분류 / 양식 채우기 / 저장
이 루프에서 이미지와 인식 결과 모두 사용자 기기에 머무릅니다. 민감한 증빙 자료를 다루는 시나리오에서는 이는 단순히 "더 나은" 것이 아니라 "가능"과 "불가능"의 차이입니다.
이전에는 이러한 요구 사항을 충족하려면 값비싼 사설 구축이 필요했지만, 이제는 브라우저를 열고 바로 실행할 수 있습니다.
이것이 "Agent 에게 로컬 눈을 부여한다"는 것의 진정한 의미입니다: Agent 가 마침내 "볼" 수 있게 되었고, 보는 과정에서 다른 사람에게 눈을 빌려줄 필요가 없습니다.
사용 방법은? 세 가지 통합 방식
방법 1: 온라인 체험 (0 분 만에 시작)
가장 빠른 방법은 paddleocr.com에 방문하여 이미지를 업로드하고 효과를 확인하는 것입니다.
적합한 대상: 기능을 빠르게 확인하고, 특정 이미지를 테스트하려는 경우.
제한 사항: 데이터가 서버에 업로드되므로 민감한 콘텐츠에는 적합하지 않습니다.
방법 2: 브라우저 측 통합 (권장)
로컬화가 필요한 웹 앱의 경우 PaddleOCR.js 를 직접 통합하세요:
1// 1. 설치2npm install paddleocr-js34// 2. 모델 초기화5import { createOCR } from 'paddleocr-js';6const ocr = await createOCR({7 detPath: '/models/det_tiny.onnx',8 recPath: '/models/rec_tiny.onnx',9 dictPath: '/models/dict.txt'10});1112// 3. 이미지 인식13const results = await ocr.recognize(imageElement);
핵심 장점:
- 모델 파일은 한 번 로드되며, 이후 인식에는 네트워크가 필요 없습니다.
- 단일 이미지 인식은 97ms 부터 시작합니다(CPU, 공식 데이터 기준).
- 세밀한 레이아웃 복원을 위한 단일 문자 좌표 반환을 지원합니다.
적합한 대상: 브라우저 확장 프로그램, Web 앱, Electron 데스크톱 앱. 출처
방법 3: Python 로컬 배포 (고정밀 시나리오)
최대 정밀도 또는 일괄 처리가 필요한 시나리오의 경우 Python SDK 를 사용하세요:
1# 1. 설치2pip install paddleocr paddlepaddle34# 2. 최고 정밀도를 위해 중간 버전 사용5from paddleocr import PaddleOCR6ocr = PaddleOCR(use_angle_cls=True, lang='ch')78# 3. 일괄 인식9result = ocr.ocr('invoice.jpg', cls=True)
고급 활용:
- NER 모델과 결합하여 필드 추출.
- 로컬 LLM 에 연결하여 완전한 문서 이해 Agent 구축.
- FastAPI 로 래핑하여 내부 API 로 팀 간 공유.
적합한 대상: 서버 측 일괄 처리, 높은 정밀도 요구 사항, 2 차 개발. 출처
기술 심층 분석: 왜 34.5M OCR 모델이 235B 범용 모델보다 더 정확할까요?
대형 모델이 수천억 개의 파라미터를 가진 시대에, PP-OCRv6 는 단 34.5M 파라미터로 Qwen3-VL-235B, GPT-5.5, Gemini-3.1-Pro 보다 높은 정확도를 달성합니다. 어떻게 가능할까요?
통합 기반: 하나의 아키텍처로 두 가지 작업 처리
PP-OCRv6 의 핵심 혁신은 탐지와 인식 모두에 사용되는 LCNetV4 백본 네트워크입니다.
처리 방식의 차이:
- 탐지: 일반적인 이미지 크기 조정을 통해 특징을 추출하고 텍스트를 찾습니다.
- 인식: 높이는 압축하고 너비는 유지하여 텍스트 이미지를 문자별로 읽는 시퀀스로 변환합니다.
동일한 아키텍처 코드가 세 가지 크기(Tiny/Small/Medium)를 제공하므로 개발 및 유지보수 비용이 크게 절감됩니다.
중요한 이유: 이 "통합 기반" 설계는 기존의 이중 독립 네트워크보다 가볍고 강력합니다.
더 정확한 탐지: 대형 수용 필드 특징 피라미드
PP-OCRv6 는 대형 수용 필드 특징 피라미드를 사용하여 "시야 범위"를 3x3 에서 7x7 로 확장합니다.
효과: 더 적은 파라미터로 작고 빽빽한 텍스트의 탐지 성능이 크게 향상되었습니다.
더 강력한 인식: 경량 어텐션 + 하나의 모델로 50 개 언어
인식 부분에는 문자 간 문맥을 이해하는 경량 어텐션 모듈이 추가되었으며, 어휘 사전은 악센트가 있는 약 200 자가 확장되었습니다.
핵심 돌파구: 단일 모델로 중국어, 영어, 일본어 및 46 개의 라틴 계열 언어를 인식할 수 있습니다. 총 50 개 언어를 처리하며, 언어별로 모델을 전환할 필요가 없습니다.
중요한 이유: 다국어 혼합 시나리오(예: 중국어 조항이 포함된 영어 계약서)에서 질적인 도약을 의미합니다.
성능 데이터: 특화 모델의 장점
PP-OCRv6_medium 은 34.5M 파라미터에 불과하지만, PaddleOCR 팀의 내부 다중 시나리오 테스트에서 OCR 텍스트 인식 정확도가 Qwen3-VL-235B, GPT-5.5, Gemini-3.1-Pro 를 능가했습니다. 출처
이유는 무엇일까요? 특화 모델은 수직 작업에 있어 범용 대형 모델보다 여전히 효율적입니다. VLM 은 문서 이해, 추론, 생성을 모두 처리해야 하며 OCR 은 하나의 하위 작업일 뿐입니다. 반면 PP-OCRv6 는 "텍스트를 명확하게 보는 것"만을 위해 아키텍처부터 데이터 학습까지 최적화되어 있습니다.
핵심 데이터:
- 인식 정확도 83.2%, 이전 세대 대비 5.1% 향상.
- 탐지 Hmean 86.2%, 이전 세대 대비 4.6% 향상.
- GPU 추론 속도 2.37 배 향상.
VLM 의 치명적인 약점: 환각적 보정
VLM 과 같은 멀티모달 모델은 OCR 을 처리할 때 치명적인 약점이 있습니다: 언어 사전 지식에 기반한 "환각적 보정" 입니다.
예를 들어, 이미지에 "Welcme"(오타)라고 쓰여 있다면 GPT-5.5 는 "똑똑하게" "Welcome"으로 "수정"할 수 있습니다.
문자 그대로의 복원이 필요한 시나리오(법률 문서, 코드 스크린샷, 제품 일련번호)에서 이러한 "똑똑함"은 재앙이 될 수 있습니다.
데이터 비교:
- PP-OCRv6 정확 일치율: 93.2% — 이미지의 모든 문자를 충실하게 복원합니다.
- Qwen3-VL-235B 정확 일치율: 80.6% — 이미지에 없는 텍스트를 "채워 넣는" 경향이 있습니다.
이 12.6% 포인트 차이는 정확한 복원이 필요한 시나리오에서 특화된 경량 모델이 범용 대형 모델보다 더 신뢰할 수 있음을 의미합니다.
PP-OCRv6 의 설계 철학은 언어 모델을 기반으로 추측하지 않고 "시각적 콘텐츠를 충실히 복원"하는 것입니다. 공식 비교에 따르면, 산업용 문자, 도트 매트릭스 텍스트 또는 타이어 마크를 처리할 때 VLM 은 명백한 환각을 생성하는 반면, PP-OCRv6 는 원래 문자를 정확하게 인식합니다. 출처
세 가지 모델에 대한 선택 조언
PP-OCRv6 는 엣지 디바이스부터 서버까지 모든 환경을 아우르는 세 가지 등급을 제공합니다.
선택 조언: 브라우저 측 Agent 는 Tiny/Small 부터 시작하고(충분히 빠르고 로딩도 빠름), 백엔드 일괄 처리에는 Medium 을 사용하세요. 출처
비용 비교
클라우드 API 는 사용량 기반 과금(월 100k 이미지 기준 약 200-1500 위안)인 반면, 로컬화된 모델은 무료이며 오픈소스이고 운영 비용이 없으며 동시성 제한이 없고 오프라인에서도 작동합니다.
마지막으로
OCR 은 수년간 경쟁해왔으며, 정확도는 더 이상 희소 가치가 아닙니다. 진정한 희소 가치는 데이터를 넘겨주지 않고 텍스트를 명확하게 보는 것입니다.
PP-OCRv6 는 이를 브라우저(Tiny 모델, CPU)에서 97ms 만에 처리합니다. Agent 를 구축하는 개발자에게 이는 "이미지 읽기" 기능을 마침내 "데이터 제로 유출"을 약속하는 제품에 포함시킬 수 있음을 의미합니다.
Agent 에게 로컬 눈을 부여하는 것은, 아마도 그 한 줄의 클라우드 OCR 호출을 대체하는 것에서 시작될 것입니다.
관련 자료
- PaddleOCR 공식 사이트: paddleocr.com
- GitHub: github.com/PaddlePaddle/PaddleOCR
- HuggingFace: huggingface.co/collections/PaddlePaddle/pp-ocrv6
- 온라인 체험: paddleocr.com (이미지 직접 업로드하여 테스트 가능)
기술 논문: PP-OCRv6: From 1.5M to 34.5M Parameters, Surpassing Billion-Scale VLMs on OCR Tasks (arXiv:2606.13108)
👉 이 글이 도움이 되셨다면 좋아요, 공유, 저장 부탁드립니다!
