평가, 설계, 안전을 위한 방법론: "AI를 단순한 편리한 도구로 끝내지 않기 위해"
유스케 나리타를 단순히 "AI에 대해 많은 이야기를 하는 학자"로만 본다면, 본질을 놓치는 것입니다. 그의 AI 대응 방식은 챗봇으로 문장을 만들거나, 회의를 요약하거나, 프롬프트를 잘 작성하는 것과 같은 일반적인 생산성 향상 범주에 들어맞지 않습니다. 오히려 그의 특징은 AI를 "의사 결정을 수행하는 장치"로 보고, 이를 어떻게 설계하고, 어떻게 평가하며, 어떻게 사회에 안전하게 구현할지 함께 고민하는 데 있습니다.
그의 공식 웹사이트에서는 자신의 전문 분야를 "데이터, 알고리즘, 사고를 사용한 비즈니스 및 공공 정책 설계"와 "데이터 기반 방식으로 사회적 의사 결정 알고리즘을 설계하는 방법 개발"이라고 설명합니다. 예일 대학교 공식 프로필에서 그의 연구 중심은 인과 추론, 머신러닝, 구조적 추정을 결합한 정책 및 비즈니스에서의 의사 결정 알고리즘 설계입니다. 즉, 그에게 AI는 독립형 앱이 아니라 추천, 광고, 검색, 정책 할당과 같은 "실제 판단을 움직이는 지능"의 기반입니다.
그리고 마지막으로, 단 한 가지.
이 글에서 소개하는 사용법—"AI가 답을 쓰게 하는 것이 아니라, 당신이 판단할 수 있도록 자료를 정리하게 하는 것"—은 그냥 읽고 동의하는 것만으로는 내일 다시 원래 사용법으로 돌아갈 것입니다. 실제로 자신의 업무에 실행했을 때 비로소 의미를 갖습니다.
따라서 이 사고 방식을 여러분의 업무에 바로 적용할 수 있도록 무료 실습 키트를 준비했습니다.
다음과 같은 내용을 받을 수 있습니다:
무료 상담이나 세미나에 참여할 필요 없이 LINE을 추가한 후 바로 받을 수 있습니다.
여기서 받아보세요:
이제 시작해 보겠습니다.
1. 나리타식 AI 활용의 핵심은 "AI에게 묻는 것"이 아닌 "AI의 판단을 판단하는 것"
많은 사람들이 AI를 검색 엔진의 상위 버전이나 글쓰기 아웃소싱처로 사용합니다. 물론 그 자체로 효과적이지만, 나리타식 AI 대응 방식은 그 너머에 있습니다. 그의 사고에서 AI는 단순히 질문에 답하는 것이 아니라, 어떤 제품을 추천할지, 어떤 광고를 보여줄지, 어떤 쿠폰을 배포할지 등 '의사 결정' 자체를 수행합니다. 그리고 중요한 것은 그 판단을 검증되지 않은 채로 방치하지 않고, 항상 나중에 점수를 매길 수 있도록 설계하는 것입니다.
나리타가 보여준 사실: AI는 "답변 상자"가 아니라 "판단을 내리는 주체"
나리타의 공동 저술 논문에는 "알고리즘이 정책과 비즈니스에서 많은 의사 결정을 수행하게 되고 있다"고 명시되어 있습니다. 여기서 볼 수 있는 첫 번째 활용 기술은 AI를 "답변을 반환하는 상자"가 아닌 "판단을 내리는 주체"로 취급하고, 먼저 그 판단의 품질을 측정하는 시스템을 만드는 것입니다. AI를 이메일 단축에만 사용한다면 경쟁 우위는 작습니다. 그러나 의사 결정을 AI에 위임하고, 그 판단의 품질을 데이터로 검증하며, 악화를 방지하면서 개선하는 구조를 만들면 AI는 단순한 효율성 도구가 아닌 비즈니스를 위한 판단 엔진이 됩니다.
개인과 기업에의 적용
이 사고 방식을 개인이나 기업에 대입하면 다음과 같습니다. AI가 무언가를 하게 하기 전에 "이것은 무엇을 개선하기 위한 판단인가?" 그리고 "그 판단이 좋았는지 나중에 어떻게 측정할 것인가?"를 결정합니다. 영업의 경우, 단순히 제안서를 만드는 것이 아니라 어떤 제안서를 어떤 고객에게 줄지에 대한 판단과 그 성사율 검증을 세트로 설정합니다. 이커머스의 경우, 단순히 제품을 설명하는 것이 아니라 어떤 제품을 누구에게 보여줄지에 대한 판단을 구매율뿐만 아니라 재고 효율성까지 포함하여 점수화합니다. 나리타식은 AI의 '답'이 아닌 '판단 시스템'을 설계하는 아이디어입니다.
2. "평가 우선"으로 AI 사용 결정하기
나리타 사고 방식에서 가장 일관된 부분은 평가 우선 아이디어입니다. 그의 공동 저술 논문에서는 A/B 테스트가 신뢰할 수 있지만 시간과 비용이 많이 들고 실패 위험이 있다고 지적합니다. 따라서 갑자기 프로덕션에 적용하기보다는 과거 로그 데이터에서 "다르게 했다면 어떻게 되었을까"를 먼저 추정해야 한다고 반복해서 주장합니다.
평가 우선이란 무엇인가?
AI 활용에서 평가 우선은 "유행하니까 AI를 도입하는 것"이 아닙니다. 먼저 "이 AI의 판단이 좋았는지 어떻게 측정할 것인가"를 사전에 결정합니다.
예를 들어, 고객 지원을 AI화하는 작업을 생각해 봅시다. 표면적으로는 "답변을 자동 생성하는 작업"이지만, 평가 우선으로 분석하면 먼저 좋은 답변의 기준(해결률, 만족도, 응답 시간?)은 무엇인지, 이를 측정하는 데 어떤 데이터를 사용할지, 그리고 성능이 저하될 때 어떻게 인지할지에 대한 설계가 선행됩니다.
개인과 기업에의 적용
나리타식 AI 활용은 이 구분이 예리합니다. 모든 것을 AI에 던지는 대신, 먼저 "좋은 판단이란 무엇인가"를 정의하고, 이를 측정할 기준을 마련한 후에야 비로소 AI를 움직입니다. AI에게 무엇을 시킬지 생각하기 전에, 자신이 무엇을 개선하고 싶은지 먼저 질문합니다. 이것이 평가 우선 AI 도입입니다.
3. "프로덕션에 가기 전에 과거 데이터로 점수 매기기" = 반사실적 평가 아이디어
나리타 연구의 핵심에는 오프폴리시 평가(OPE)라는 기술이 있습니다. 어려운 단어이지만 내용은 간단합니다: "아직 수행하지 않은 조치를 과거 로그 데이터로 미리 점수화하는 것"입니다.
왜 "갑자기 프로덕션에 투입하는 것"이 위험한가?
이 사고 방식은 AI 활용에 직접 사용할 수 있습니다. 많은 조직이 생각해낸 새로운 방법을 프로덕션에서 갑자기 실행했다가 실패합니다. 잘 되면 괜찮지만, 빗나가면 고객 반응을 악화시키고 시간과 비용을 잃습니다.
개인과 기업에의 적용
나리타식으로 생각한다면 AI 도입 순서는 이렇습니다. 첫째, 새로운 프롬프트나 정책이 떠오르면 갑자기 모두 프로덕션에 투입하지 않습니다. 둘째, 과거 유사 사례의 로그를 사용하여 "그 새로운 방법이었다면 어떻게 되었을까"를 추정합니다. 셋째, 명백히 악화되지 않음이 확인된 것만 조금씩 프로덕션에 투입합니다.
AI는 강력하지만, 검증 없이 프로덕션에 투입하면 실패가 그대로 사용자에게 전달됩니다. 반대로, 먼저 과거 데이터로 점수를 매긴 후 출력한다면 사고율을 크게 줄일 수 있습니다. 즉, AI 활용의 전 단계로서 중요한 것은 무작정 시도하는 것이 아니라 히스토리 데이터로 안전하게 미리 읽어보는 것입니다.
4. "기준 자체에 의문 제기하기" = 단일 지표를 맹신하지 않기
나리타식 AI 대응에서 빼놓을 수 없는 것은 평가 방법 자체에 대한 회의주의입니다. 그의 공동 저술 논문에는 "어떤 평가 방법이 가장 좋은지는 작업에 따라 달라지며, 단일 승자는 없다"는 내용이 있습니다. 따라서 여러 개의 기준을 준비하고 상황에 가장 잘 맞는 것을 선택해야 합니다.
왜 단일 지표가 위험한가?
이는 나리타식 AI 활용의 중요한 축을 보여줍니다. 즉, AI의 결과를 "단일 숫자"만으로 판단하지 않는 것입니다. 비즈니스에서는 클릭률이 올랐다거나 반응이 좋았다는 단일 지표에 쉽게 뛰어듭니다. 하지만 그 숫자가 정말로 개선하고자 하는 것을 측정하고 있습니까?
개인과 기업에의 적용
개인이 이를 모방한다면, AI의 결과를 평가할 때 항상 여러 각도에서 바라봅니다. 예를 들어, 챗봇을 "해결률"로만 측정하면 해결률이 올라가도 사용자가 "차갑다"고 느껴 이탈한다면 실제로는 실패입니다. 따라서 해결률, 만족도, 이탈률, 응답 시간을 각각 살펴봅니다.
나리타식 AI 활용은 모델을 비교하기 전에 기준이 올바른지 질문합니다. AI는 설정된 기준을 향해 최적화됩니다. 따라서 기준이 잘못되면 똑똑해질수록 더 잘못된 방향으로 달려갑니다. 이것을 먼저 확고히 하는 것이 나리타식입니다.
5. "성가신 현실 제약"을 미루지 않기
나리타의 최근 연구에 공통된 것은 현실의 문제를 나중에 추가하는 것이 아니라 처음부터 평가 시스템에 통합하는 것입니다. 신제품과 기사가 계속 증가하는 문제, 재고와 쿠폰 예산의 상한 문제, 사용자마다 행동이 다른 문제. 그는 이러한 제약을 처음부터 고려합니다.
이상적으로 만들어진 AI가 프로덕션에서 망가지는 이유
여기서 중요한 것은 AI 활용이 "이상적인 조건"으로 끝나지 않는다는 점입니다. 실제 운영에는 항상 예산, 인력, NG 조건, 사용자 다양성이 있습니다. 이상적인 상태에서 잘 작동하는 프롬프트를 만들어도 현실 제약에 부딪히면 망가집니다.
예를 들어, 재고 상한선. AI에게 "반응이 좋아 보이는 제품을 계속 내놓으라"고만 명령하면 인기 제품이 순식간에 바닥나고, 나중에 오는 고객에게는 아무것도 내놓을 수 없게 됩니다. 나리타의 연구는 이러한 공급 제약을 처음부터 고려하여 "현재 순간의 반응"뿐만 아니라 "미래 사용자에 대한 할당"까지 포함하여 평가합니다.
개인과 기업에의 적용
이 아이디어는 일반 업무에도 적용할 수 있습니다. AI 대책을 생각할 때, 이상적으로 먼저 구축하고 나중에 조정하는 대신, "사용 가능한 예산", "투입 가능한 인력", "절대 해서는 안 되는 것", "대상 사용자 범위"를 처음부터 전제로 포함합니다. 나리타식 AI 활용은 현실 제약을 미루지 않습니다. AI를 아름답게 만들수록 제약을 무시하면 프로덕션에서 실패할 가능성이 높아집니다.
6. AI를 "답변 기계"가 아닌 "악화 방지 기계"로 다루기
나리타의 연구를 잘 나타내는 것은 "악화되지 않는 것" 자체를 결과로 처리하는 아이디어입니다. 그의 연구에는 현재 운영 중인 정책보다 높은 확률로 아래로 떨어지지 않도록 제약을 가하는 것과, 소규모 도입 내에서 안전 브레이크를 조금씩 풀어가는 것 등이 있습니다.
"악화 방지"를 결과로 계산하는 아이디어
여기 나리타식 AI 활용의 큰 도약이 있습니다. 많은 AI 활용은 "얼마나 더 좋아졌는가"만 봅니다. 하지만 나리타는 "얼마나 악화를 피할 수 있었는가"를 동등하게 중요한 결과로 취급합니다.
개인과 기업에의 적용
이는 기업의 AI 활용에서도 시사하는 바가 큽니다. 답변 품질을 개선하려 할 때, 모든 것을 갑자기 새로운 방법으로 전환하는 대신, 먼저 현재 방법보다 떨어지지 않음을 보장하고 조금씩 시도합니다. 구체적으로는 전체의 1-5%에만 새 정책을 시도하고, "명백히 악화되면 중단"과 같은 중단 기준을 사전에 정합니다.
AI 활용의 차이를 만드는 것은 공격의 화려함만이 아닙니다. 악화 확률을 억제하면서 탐색 범위를 얼마나 확장할 수 있는지입니다. 나리타의 말에 따르면, AI 품질 향상과 폭주, 오답, 편향 억제를 동시에 같은 테이블에서 설계해야만 AI가 안전하게 성장할 수 있습니다.
7. "윤리"를 각주가 아닌 계산에 포함시키기
나리타의 AI관의 특징은 윤리를 다루는 방식입니다. 많은 분야에서 윤리는 "마지막에 추가되는 각주"가 되기 쉽지만, 나리타의 연구에서는 윤리가 최적화 문제에 통합됩니다.
윤리를 최적화에 통합
예를 들어, 의료 실험 설계에 관한 연구에서 그는 기존 방법이 효과가 덜한 것으로 알려진 치료나 참가자가 싫어하는 치료를 할당하는 등 윤리적 문제가 있다고 지적합니다. 따라서 참가자 선호도와 예측 효과를 할당 계산에 처음부터 포함시켜 참가자 만족도를 높이려고 합니다.
개인과 기업에의 적용
이것을 AI 활용으로 다시 가져오면 필수적인 이야기가 됩니다. "정확도가 높으면 OK"가 아니라, "사용하는 사람들의 감정과 피해 비용을 처음부터 평가에 넣는 것"입니다.
예를 들어, AI로 새로운 추천을 내보낼 때. 새 후보를 내보내지 않으면 시스템이 정체되지만, 너무 많이 내보내면 빗나가서 사고가 발생합니다. 나리타의 연구는 이 '새로움(공정한 노출)'과 '안전성'을 동시에 만족시키려고 합니다. 효율성만 쫓으면 어딘가에 부담이 갑니다. 나리타식은 그 부담의 비용을 처음부터 계산에 포함시킵니다. 윤리를 브레이크가 아닌 설계의 일부로 취급합니다.
8. 평가자 자체를 평가하기 = 한 단계 위의 메타 최적화
나리타 연구의 흥미로운 점은 AI 모델을 비교하기 전에 "비교 방법(평가자) 자체가 올바른지"를 검증하는 단계를 둔다는 것입니다. 그의 연구에는 작업에 따라 어떤 평가 방법이 좋은지 자동으로 선택하는 방법이 있습니다.
모델보다 '기준'을 검증하기
여기서 볼 수 있는 것은 나리타의 성능 최적화 관점이 모델 튜닝보다 한 단계 위에 있다는 것입니다. 많은 사람들이 "어느 모델이 우월한지" 경쟁하지만, 나리타는 그 전에 "모델을 평가하는 기준 자체가 제대로 올바른지"를 확인합니다.
개인과 기업에의 적용
일반 기업이 이를 모방한다면, AI 도구를 비교하기 전에 비교 기준에 의문을 제기합니다. 예를 들어, 두 AI를 "응답 속도"로 비교하려 할 때, 먼저 이 비즈니스에서 속도가 가장 중요한 것인지 질문합니다. 기준이 잘못된 상태에서 비교하면, 승리한 쪽을 채택해도 실제로는 악화될 수 있습니다.
AI 활용은 "어떤 모델을 선택할까"의 싸움처럼 보이지만, 실제로는 "어떤 기준으로 선택할까"의 싸움입니다. 나리타식에서 배운다면, 모델의 성능을 측정하기 전에 기준의 타당성을 측정해야 합니다.
9. "선택지가 많을 때" 기존 방법이 무너짐을 알기
나리타의 연구에는 선택지(행동)가 매우 많은 상황에서 기존 평가 방법이 무너진다는 인식이 있습니다. 후보가 너무 많은 추천과 검색, 언어 모델과 같은 큰 선택지를 다루는 상황에서는 단순 승률 비교보다는 특징과 임베딩을 사용한 평가가 필요하다고 주장합니다.
왜 선택지가 많으면 평가가 무너지는가?
이는 오늘날의 LLM 활용에 직접적으로 해당됩니다. 생성형 AI는 출력 후보와 사용 가능한 도구 선택지가 엄청나게 많습니다. 이러한 상황에서 단순히 "A와 B 중 어느 것이 더 좋았는가"를 비교하면 비교 자체가 불안정해집니다.
개인과 기업에의 적용
개인이 이를 적용한다면, AI 선택지가 많은 작업일수록 대략적인 이지선다 비교를 피합니다. 예를 들어, "10개의 프롬프트 후보 중 가장 좋은 것"을 작은 샘플로 즉시 결정하지 않습니다. 후보가 많을 때는 판단을 서두르지 말고 여러 조건에서 신중하게 살펴봅니다.
나리타식 AI 활용은 선택지가 늘어날수록 평가가 어려워진다고 가정합니다. 따라서 후보가 많은 상황에서는 단순 비교보다는 설계된 평가에 집중합니다.
10. "입력 마찰 줄이기"의 중요성 이해하기
나리타 연구의 근저에는 판단 시스템을 지속적으로 운영하기 위해 데이터를 올바르게 계속 남기는 아이디어가 있습니다. 그가 관여하는 데이터 인프라에서는 어떤 선택지가 어떤 확률로 제시되었는지 등의 정보가 기록되어, 나중에 "왜 그 결과가 발생했는지"를 공정하게 평가할 수 있도록 합니다.
"검증 가능한 상태"를 계속 유지하기
여기서 AI 활용은 단순한 효율성이 아닙니다. "귀찮아하지 않고 나중에 검증할 수 있는 상태를 계속 만드는 것"입니다. 검증이 귀찮으면 사람들은 하지 않게 됩니다. 따라서 기록과 평가의 장벽을 낮추는 설계가 필요합니다.
개인과 기업에의 적용
이 아이디어를 일상 AI 활용에 적용한다면, 중요한 것은 "검증의 마찰을 줄이는 것"입니다. AI의 결과를 매번 수동으로 점수화하면 오래가지 않습니다. 따라서 자주 사용하는 프롬프트를 템플릿화하고, 결과를 측정할 지표를 사전에 결정하며, 결과가 자동으로 남도록 만듭니다. 검증까지의 거리를 짧게 할수록 AI 개선 사이클이 계속 돌아갑니다.
나리타식 AI 대응은 궁극적으로 "인간이 좋은 판단을 정의하고, AI가 실행하며, 결과가 항상 기록되고, 다시 개선되는" 방향으로 향합니다.
11. 위기 의식을 가지고 사용하기
나리타의 AI관에는 가능성에 주목하는 동시에 알고리즘에 판단을 위임하는 것에 대한 긴장감이 있습니다. 한 대담에서 그는 "돈"은 사람들이 과거에 해온 것을 대략적으로 1차원으로 표현한 것에 불과하며, 더 상세한 데이터가 있다면 그것으로 대체될 수 있다고 말합니다. 그는 AI와 데이터를 사회의 판단 기준 자체를 대체할 수 있는 기반으로 봅니다.
판단을 위임할수록 책임이 모호해진다
이 점은 AI 활용 기술로서도 중요합니다. 편리하다는 이유로 AI를 무분별하게 사용하는 것은 위험합니다. AI에 판단을 위임할수록 그 판단이 누구의 책임이며 어떤 기준으로 이루어졌는지가 모호해집니다. 정보 유출, 잘못된 정보, 편향, 책임 소재, 과도한 의존. 이러한 문제를 무시한 채 AI에 의사 결정을 위임하면 단기 효율성과 장기적 신뢰를 맞바꾸게 됩니다.
개인과 기업에의 적용
나리타식에서 배운다면, AI를 두려워하여 멈추는 것이 아니라 위험을 전제로 설계합니다. 기밀 정보를 넣지 않는 규칙을 만듭니다. 중요한 판단에는 인간의 확인을 남깁니다. AI 판단 로그를 남깁니다. 잘못된 판단이 발생했을 때의 책임 범위를 결정합니다. AI 활용은 액셀러레이터뿐만 아니라 브레이크도 설계하는 것입니다.
12. "제한된 도입으로 시도하기"를 반복하기
나리타 연구에서 일관된 것은 전면 전환보다는 소수의 제한된 도입부터 시작하는 아이디어입니다. 그의 연구에서는 새로운 정책을 갑자기 전체에 적용하지 않고, 먼저 일부에서 시도하고 결과를 보며 재학습하고 조금씩 확장하는 흐름이 반복해서 나타납니다.
프로토타이핑이 빠른 시대에는 "작게 시도하는 것"이 더 효과적이다
AI 시대에는 이 "작게 시도하는" 태도가 더욱 중요해집니다. AI로 인해 프로토타이핑 비용이 급격히 낮아졌지만, 검증 없이 실행하려는 유혹도 강해졌기 때문입니다. 기획 문서, 코드, 광고 카피, 분석 보고서. 며칠 걸리던 일이 이제 몇 분 만에 초안이 나옵니다. 따라서 초안에 만족하지 않고 작게 시도하고 검증하는 것이 효과적입니다.
개인과 기업에의 적용
나리타식 AI 활용 기술에서 AI는 "완성품을 한 번에 내놓는 마법"이 아닙니다. 오히려 작게 시도하고 검증하는 횟수를 늘리는 장치입니다. 1-5%로 시도합니다. 결과를 봅니다. 악화를 확인합니다. 되돌립니다. 개선합니다. 다시 시도합니다. 이 사이클을 안전하게 가속화할 수 있는 사람이 AI의 혜택을 받습니다. AI를 사용하지만 결과를 내지 못하는 사람은 한 번의 전면 도입에 너무 많이 걸고 있습니다.
13. 개인이 나리타식 AI 활용을 따라할 수 있는 실용적인 방법
나리타처럼 대학 연구 기반이나 대규모 데이터가 필요하지 않습니다. 아이디어만 있다면 개인도 오늘부터 따라할 수 있습니다.
오늘부터 할 수 있는 5단계
첫째, AI가 무언가를 하게 하기 전에 "무엇을 개선하고 싶은가"를 한 문장으로 써 보세요. 모두가 이것을 건너뛰기 때문에 길을 잃습니다. 둘째, 그 품질을 "어떤 숫자로 측정할 것인지"를 미리 결정합니다. 셋째, 새 프롬프트가 떠올라도 갑자기 모든 것에 사용하지 말고 먼저 유사한 과거 사례나 일부에서 시도해 봅니다. 넷째, 결과를 단일 숫자로만 판단하지 말고 여러 각도에서 봅니다. 다섯째, 악화되었을 때 알아차리고 중단할 수 있는 시스템을 미리 준비합니다.
이 흐름을 계속하면 AI는 단순한 편의 도구에서 망가지지 않고 계속 개선되는 자신만의 판단 기반으로 변합니다.
14. 기업이 따라한다면 "답변 정확도"보다 "판단 시스템"을 만들기
기업이 나리타식에서 배워야 할 가장 큰 점은 AI 답변의 정확도만 높이는 데 집중하지 말아야 한다는 것입니다. 나리타의 연구가 계속 다듬어 온 것은 개별 답변의 정확성보다는 "판단을 내리고, 점수를 매기고, 안전하게 개선하는 시스템"이었습니다.
모델의 똑똑함보다 "판단 시스템"
많은 기업에서 AI 도입은 "어느 모델이 똑똑한가"의 비교에서 멈춥니다. 하지만 나리타식으로 생각한다면 중요한 것은 모델의 똑똑함이 아니라, 그 판단을 평가하고, 악화를 방지하며, 현실 제약을 따르고, 윤리를 통합하는 설계가 있는지입니다. 목적과 KPI가 모호한 상태에서 AI를 도입하면 최신 기술을 사용한 내부 이벤트로 끝납니다.
기업이 가져야 할 문화
기업이 진지하게 AI를 사용하려면 먼저 경영진으로서 "무엇을 좋은 판단으로 간주할지"를 정의하고, 이를 측정할 데이터를 정리하며, 악화를 감지하는 시스템을 만들고, 제한된 도입부터 확장하는 문화를 가져야 합니다. AI는 정보 시스템 부서만의 주제가 아닙니다. '판단 시스템'은 영업, 개발, 제조, 법무, 인사, 재무, 고객 응대에서 물어집니다. 즉, AI 활용은 의사 결정 자체의 설계입니다.
15. 나리타식 AI 활용의 함정과 솔직히 말해야 할 것
물론 나리타식을 무조건 찬양할 필요는 없습니다. 철저한 평가, 검증, 안전에 대한 태도는 사고를 줄이지만 속도를 늦추는 상황도 있습니다. 모든 것을 조심스럽게 점수화하다 보면 빨리 시도해야 할 상황에서 움직이지 못할 때가 있습니다. AI 활용에서 중요한 것은 나리타식을 표면적으로 복사하는 것이 아니라 자신의 환경에 맞게 원칙을 통합하는 것입니다.
솔직히 말하자면: 이 부분은 "미확인"입니다
그리고 솔직히 쓰고 싶은 것이 하나 더 있습니다. 이 글에서 소개한 "나리타식 방법"은 나리타 본인이 "이렇게 AI를 사용한다"고 말한 것이 아닙니다. 그의 공개 자료(사이트, 이력서, 논문)를 꼼꼼히 읽고 높은 확률로 재구성한 '방식'입니다. 나리타가 일상에서 어떤 LLM을 사용하는지, 어떤 프롬프트를 입력하는지와 같은 개인적인 루틴은 공개 정보로 확인할 수 없습니다. 따라서 상상으로 채우지 않고 솔직히 "미확인"으로 남겨둡니다.
그래도 통합할 수 있는 원칙
그럼에도 통합할 원칙은 다음과 같습니다: 평가 우선으로 생각하기, 프로덕션 전에 과거 데이터로 점수 매기기, 기준 자체에 의문 제기하기, 현실 제약을 처음부터 통합하기, 악화 방지 자체를 결과로 처리하기, 윤리를 계산에 포함시키기. 그리고 위험을 외면하지 않기.
결론: 유스케 나리타의 AI 활용 기술은 "좋은 판단 시스템을 망가뜨리지 않고 키우는 것"
나리타식 AI 활용의 핵심은 AI에게 "답을 쓰게 하는 것"이 아니라 "판단을 하게 하는 것"입니다. 그리고 그 판단을 평가하고, 악화를 방지하며, 안전하게 개선하는 시스템을 설계하는 것입니다. 이는 단순한 도구 사용이 아닌 비즈니스와 사회의 의사 결정 구조 자체를 재설계하는 작업입니다. 개인에게는 자신의 작업을 평가하고 개선하는 프레임워크가 되며, 기업에게는 AI를 단순한 효율화 도구가 아닌 지속 가능한 판단 엔진으로 만드는 방법론이 됩니다.
유스케 나리타(Yusuke Narita)의 AI 대응 방식을 한마디로 표현하자면, AI를 '답변 기계'가 아닌 '판단 장치'로 취급하고, 그 판단을 점수화하고 망가뜨리지 않으면서 개선하는 시스템을 만드는 것이다. 가장 강력한 프롬프트나 신의 도구를 찾는 대신, AI가 무엇을 결정할지, 그것이 좋았는지 측정하는 방법, 그리고 악화를 방지하는 방법에 대한 기반을 설계하라.
나리타 스타일 원칙 요약
그에 대한 원칙은 명확하다. 평가 우선으로, 먼저 개선하고 싶은 것을 정의하라. 프로덕션에 들어가기 전에 과거 데이터로 점수를 매겨라. 단일 숫자를 믿지 말고 측정 기준 자체를 의심하라. 현실 세계의 제약을 미루지 말고 처음부터 통합하라. 악화 자체를 방지하는 것을 결과로 간주하라. 윤리는 메모가 아닌 계산에 포함시켜라. 그리고 제한된 도입으로 작게 시도하고 안전하게 확장하라.
AI 시대에 진정으로 차이를 만드는 것은 단순히 '어떤 AI를 사용하는가'가 아니다. AI의 판단을 얼마나 평가하고 망가뜨리지 않으면서 계속 개선할 수 있는지가 중요하다. 나리타의 강점은 그가 AI 트렌드의 답을 쫓지 않았다는 점에 있다. 대신, 그는 AI의 판단 시스템을 충돌 없이 성장시키는 데 꾸준히 집중해 왔다.
따라서 우리가 배워야 할 것은 '나리타와 동일한 연구를 하는 것'이 아니다. 자신의 업무에서 AI에 맡길 하나의 판단을 선택하고, 개선하고 싶은 기준을 정한 다음, 악화를 방지하면서 조금씩 개선하는 것이다. AI가 문장을 쓰게 하는 데 만족하지 말고, AI 판단의 질을 측정하고 망가뜨리지 않으면서 성장시켜라. 프롬프트 트렌드는 반년이면 바뀌지만, 이러한 평가 우선 사고 방식은 AI가 아무리 발전해도 계속 유효할 것이다.
이것이 유스케 나리타의 AI 활용 기술에서 배울 수 있는 가장 실용적인 점이다.
