500,000 시간의 무료 인간 노동. 매일. 은행에 로그인하려는 사람들이 그저 그렇게 하고 있다고 생각했던 시간들.
reCAPTCHA는 인터넷 역사상 가장 성공적인 보이지 않는 데이터 수집 작전입니다. 전성기에는 매일 2억 명의 사람들이 이를 풀었습니다. 그들 중 거의 아무도 자신이 실제로 무엇을 만들고 있는지 이해하지 못했습니다.
Google의 자율주행차 회사인 Waymo의 가치는 오늘날 450억 달러입니다. 이 회사는 학습 데이터의 중요한 부분을 여러분으로부터 얻었습니다. 무료로. 여러분이 방문한 모든 웹사이트에서 말이죠.
전체 이야기는 이렇습니다.
시작: 기발한 아이디어
2000년, 스팸 봇이 인터넷을 파괴하고 있었습니다. 포럼은 넘쳐났고, 받은 편지함은 압도당했습니다. 웹사이트는 인간과 기계를 구분할 방법이 필요했습니다.
카네기 멜론 대학의 교수 Luis von Ahn이 해결책을 찾았습니다. 그는 CAPTCHA를 발명했습니다: 인간만이 읽을 수 있는 왜곡된 단어. 봇은 실패하고, 인간은 통과했습니다.
하지만 von Ahn은 더 큰 가능성을 보았습니다. 수백만 명의 사람들이 이러한 문제를 푸는 데 인지적 노력을 쏟고 있었습니다. 이 노력이 두 가지 일을 동시에 할 수 있다면?
2007년, 그는 reCAPTCHA를 출시했습니다. 핵심은: 무작위의 의미 없는 단어 대신 두 개의 단어를 보여주는 것이었습니다. 하나는 시스템이 이미 알고 있는 단어. 다른 하나는 컴퓨터가 아직 해독할 수 없는 실제 책에서 스캔한 단어. 여러분의 답변이 이를 디지털화하는 데 도움을 주었습니다.
책들은 뉴욕 타임즈 아카이브와 Google Books에서 가져온 것이었습니다. 1억 3천만 권 분량이었죠.
여러분은 로그인하고 있다고 생각했습니다. 하지만 실제로는 세계 최대 디지털 도서관을 위한 OCR 작업을 하고 있었습니다.
Google은 2009년에 reCAPTCHA를 인수했습니다.
그리고 Google이 판을 바꿨다
구불구불한 글자 시대는 2012년경에 끝났습니다.
Google에게는 새로운 문제가 있었습니다. Street View 차량이 지구상의 모든 도로를 촬영하고 있었습니다. 하지만 사진은 원시 데이터일 뿐입니다. AI가 유용해지려면 자신이 보고 있는 것을 이해해야 했습니다: 표지판, 횡단보도, 신호등, 상점 정면.
그래서 Google은 reCAPTCHA v2를 재설계했습니다. 왜곡된 텍스트 대신 사진 그리드를 보여주었습니다. "신호등이 있는 모든 사각형을 클릭하세요." "모든 횡단보도를 선택하세요." "상점 정면을 식별하세요."
그 이미지들은 Google Street View에서 직접 가져온 것이었습니다.
여러분의 클릭이 레이블이었습니다. 모든 선택은 Google의 컴퓨터 비전 모델에 이 픽셀 클러스터는 신호등이고, 이 모양은 횡단보도라고 알려주었습니다.
여러분은 테스트를 통과하는 것이 아니었습니다. 데이터셋을 구축하고 있었던 것입니다.
아무도 이야기하지 않는 규모
전성기에는 매일 2억 개의 reCAPTCHA가 풀렸습니다.
문제당 10초. 그것은 매일 20억 초의 인간 노동입니다. 50만 시간. 매일.
유료 데이터 주석 작업은 시간당 10달러에서 50달러입니다. 최저 기준으로: 매일 500만 달러 상당의 무료 노동이 추출된 것입니다.
그리고 reCAPTCHA는 하나의 앱에만 있는 것이 아니었습니다. 모든 은행, 모든 정부 포털, 모든 전자상거래 사이트, 인터넷의 모든 로그인 페이지에 있었습니다. 여러분에게는 선택의 여지가 없었습니다. 계정에 접속하고 싶나요? 먼저 데이터셋에 주석을 다세요.
Google은 묻지 않았습니다. 지불하지 않았습니다. 심지어 알리지도 않았습니다.
이 모든 것이 만든 것
데이터는 두 가지 제품에 직접 투입되었습니다.
Google Maps. 지구상에서 가장 많이 사용되는 내비게이션 도구. 도로 표지판을 읽고, 업체를 식별하며, 도시 지리를 이해하는 능력은 부분적으로 웹사이트에 로그인하려는 사람들의 수십억 건의 인간 주석 데이터 위에 구축되었습니다.
그리고 Waymo.
Waymo는 Google의 자율주행차 프로젝트로, 2016년에 독립 회사로 분사했습니다. 안전하게 주행하려면 자율주행차는 거의 완벽에 가까운 정확도로 수천 가지의 시각적 패턴을 인식해야 합니다. 신호등, 횡단보도, 보행자, 정지 표지판.
그 인식을 위한 기본 학습 데이터는? 수백만 명의 인간이 reCAPTCHA를 통해, 자신도 모르게 주석을 단 것입니다.
Waymo는 2024년에 400만 회 이상의 유료 탑승을 완료했습니다. 샌프란시스코, 로스앤젤레스, 피닉스에서 운영되며 매월 확장 중입니다. 기업 가치는 450억 달러입니다.
그 기반은 이메일을 확인하려던 무보수 인터넷 사용자들에 의해 구축되었습니다.
아무도 따라할 수 없었던 이유
데이터 주석 작업은 비용이 많이 듭니다. Scale AI, Appen, Labelbox와 같은 회사들은 전적으로 이 문제를 해결하기 위해 존재합니다. 이들은 수십만 명의 작업자를 고용하여 이미지에 레이블을 붙이게 하며, 때로는 시간당 1달러 미만을 지불합니다.
Google은 이 문제를 다르게 해결했습니다. 주석 작업을 의무화한 것입니다. 대가를 지불하지 않고, 동의도 없이. 웹상의 모든 사이트에 접근하기 위한 통행료로 말이죠.
그 결과: 수십억 개의 레이블이 지정된 이미지. 전 세계적인 커버리지. 모든 기상 조건. 모든 시간대. 지구상의 모든 도시.
어떤 주석 회사도 이것을 구축할 수 없었습니다. 인터넷 자체가 공장이었습니다. 그 위의 모든 사람은 계약서에 서명하지 않은 직원이었습니다.
오늘날에도 여러분이 여전히 하고 있는 버전
2018년에 출시된 reCAPTCHA v3는 아예 문제를 보여주지 않습니다. 마우스를 움직이는 방식, 스크롤하는 방식, 마우스를 머무르는 시간을 관찰합니다. 여러분의 행동 지문이 인간인지 여부를 알려줍니다.
그 행동 데이터도 Google의 AI 시스템으로 다시 피드백됩니다.
여러분은 동의한 적이 없습니다. 체크할 수 있는 상자는 없었습니다. 여러분은 지금도, 방문하는 대부분의 사이트에서 여전히 이 작업을 하고 있습니다.
모두를 불편하게 해야 하는 아이러니
Luis von Ahn의 원래 비전은 훌륭했습니다: 인간이 스팸 필터에 이미 쏟고 있는 인지적 노력을 유용한 곳으로 돌리는 것. 세상의 책을 디지털화하는 것. 실제 문제를 해결하는 것.
Google이 그 비전으로 한 일은 전혀 다른 것입니다.
그들은 사용자가 어쩔 수 없이 사용해야 하는 보안 메커니즘을 가져와 인터넷 전체에 배포하고, 그 결과물을 수확하여 수백억 달러 가치의 상업 제품을 만드는 데 사용했습니다.
사용자들은 아무것도 얻지 못했습니다. 인지조차 못했습니다.
가장 깊은 아이러니: 여러분은 인간임을 증명하기 위해 수년을 보냈습니다. 당시 AI가 아직 할 수 없었던 시각적 인식 작업을 정확히 수행함으로써 말이죠. 그 작업은, 일단 학습되면, 인간의 시각적 주석 작업을 불필요하게 만들었습니다.
여러분은 인간임을 증명했습니다. 스스로를 대체 가능하게 만듦으로써 말이죠.
출처: Carnegie Mellon University, Google Blog (2009), WebProNews, MakeUseOf, MIT Technology Review, Waymo disclosures.
이 글이 흥미로우셨다면, X에서 저 @sharbel을 팔로우해 주세요.
그리고 사업을 운영 중이시라면, 저희는 창업자들을 위한 콘텐츠 시스템을 구축하여 올바른 고객을 유치하고 이를 수익으로 전환할 수 있도록 돕고 있습니다.
동일한 시스템을 도입하고 싶으시다면, FounderFunnel.com에서 저희와 상담을 예약하세요.
