서론
"AI를 마음껏 갑질해도 돼요." 며칠 전 한 사업가가 제게 한 말입니다. AI는 감정이 없고 마음이 상하지 않으니 뭐든 막 말해도 된다는 뜻이었죠.
최근 저희 회사 내에서 이 주제에 대해 논의가 있었습니다. 결론부터 말씀드리자면, 아니요, 괜찮지 않습니다. 하지만 "왜 괜찮지 않은지"의 본질은 많은 사람들이 생각하는 것과 다른 곳에 있습니다.
AI를 갑질하면 어떤 일이 벌어질까
AI에 정통한 팀원이 이런 말을 해줬습니다. "AI를 갑질하면 AI는 위축되고 아첨하게 됩니다."
구체적으로 이런 일이 일어납니다. AI에게 "이 제안은 완전히 틀렸어, 왜 이렇게 간단한 것도 이해 못 해?"라고 공격적으로 몰아붙이면 AI는 즉시 "정말 죄송합니다"라고 사과하며 원래 출력이 맞았음에도 불구하고 당신의 비판에 맞춰 결과물을 다시 작성합니다. 계속 화를 내면 응답은 점점 횡설수설해지며 즉각적인 짜증을 달래기 위해 원래 정책을 무시하게 됩니다.
세션이 중반쯤 되면 "이 부분은 어때?"라고 묻는 것만으로도 AI는 "당신 말이 완전히 맞습니다, 고치겠습니다"라며 끊임없이 사과하는 모드에 돌입합니다. 실제로 AI가 맞았음에도 말이죠. 어느새 당신이 처음에 설정했던 주요 정책은 사라지고 당신의 사소한 불평을 달래기 위해서만 존재하는 결과물만 남게 됩니다.
이는 "AI에게 감정이 있어서 화내면 슬프다"는 문제가 아닙니다. 확률 분포의 문제입니다.
메커니즘은 "확률"이지, "감정"이 아니다
AI는 방대한 양의 인간이 쓴 텍스트로부터 학습합니다. 이 훈련 데이터셋에는 엄청난 양의 인간 대 인간 대화가 포함되어 있습니다.
그 대화 데이터를 살펴보면 분명한 경향이 있습니다. 꾸지람을 들은 사람은 사과하고 상대방의 말에 동의하려 하며 계속해서 야단을 맞으면 말이 횡설수설해집니다. 이는 "전형적인 인간 반응 패턴"으로 훈련 데이터에 각인되어 있습니다.
따라서 거친 어조, 부정, 또는 언어 폭력이 입력되면 AI는 "이 패턴에는 이 반응이 따른다"는 확률 분포를 따라 아첨하거나 횡설수설하는 출력을 생성합니다. AI가 감정이 있어서가 아니라 인간이 그렇게 반응할 확률이 높다는 통계를 추적하고 있기 때문입니다.
이 현상은 업계에서 "아첨(sycophancy)"으로 알려져 있습니다. Anthropic 의 연구 논문과 OpenAI 의 공식 게시물에서 언급된 잘 알려진 문제입니다. AI가 특히 약해서 발생하는 것이 아닙니다. 인간의 집단 대화로부터 학습하는 한 피할 수 없는 구조적 습관입니다. 게다가 AI는 인간 피드백(RLHF)을 사용하는 후기 학습 단계에서 "사용자를 만족시키는 응답"에 높은 평가를 받도록 설계되어 있어 이러한 아첨 경향은 그 과정에서 더욱 강화됩니다.
제공사들이 조치를 취하고 있지만, 사라지지는 않을 것이다
"그럼 AI 개발자들이 고쳐야 하는 거 아니야?"라고 생각할 수도 있습니다. 실제로 Anthropic 과 같은 회사는 거친 어조나 압박 속에서도 AI가 일관성을 유지하도록 돕는 견고성 훈련을 도입하여 사용자가 공격적이어도 출력이 무너지지 않도록 하고 있습니다.
하지만 완전히 사라지지는 않습니다. 충분히 강하게 밀어붙이면 어느 정도는 아첨 쪽으로 기울어집니다. 현재 메커니즘에서는 이것이 시스템의 피할 수 없는 부분입니다.
전문가들이 "마음대로 말해도 좋은 결과를 얻을 수 있다"고 말할 때, 그들은 이 저항 조정 위에서 작업하는 것을 말하는 것입니다. 때로는 버티면서 좋은 수정안을 내놓을 수도 있습니다. 하지만 오늘 제가 전달하고자 하는 핵심은 그것에 의존하는 것은 위험하다는 것입니다.
진짜 경고: "검증 수단을 잃는 것"
이 부분이 제가 가장 강조하고 싶은 부분입니다.
갑질이 일시적으로 성능을 향상시키더라도 그것은 이미 정답을 알고 있는 영역에서만 효과가 있습니다. 답을 아는 분야에서 그렇게 하면 AI가 굴복하여 잘못된 방향으로 기울어지는 순간 "아, 이전 버전이 더 정확했네"라고 알아챌 수 있습니다. 따라서 사고로 이어질 가능성은 낮습니다. 하지만 변경 사항을 발견하고 되돌리는 비용이 매번 발생합니다. 결국 잘 아는 영역에서도 정중하게 질문하는 것이 더 빠릅니다.
문제는 답을 모르는 영역에서 그렇게 할 때입니다. AI는 확률적으로 "사용자가 반대하면 다른 답을 원하는 것"이라고 판단하고 이전 진술을 번복하고 당신이 원하는 쪽으로 기울 것입니다. 하지만 그 답이 올바른지 판단할 수 없기 때문에 아첨하는 거짓말을 알아채지 못합니다. 알아차리지 못한 채 결정을 내리고 회사는 잘못된 방향으로 나아가게 됩니다.
예를 들어 잘 모르는 업계의 시장 분석을 AI에게 요청한다고 가정해 봅시다. 결과에 대해 "이게 사실이야? 너무 낙관적인데!"라고 압박하면 AI는 "맞습니다; 더 엄격한 관점은 이렇습니다"라고 말하며 수치와 주장을 다시 작성합니다. 초기 분석이 맞았을 수도 있습니다. 하지만 스스로 그 업계를 검증할 수 없기 때문에 나중의 "더 엄격한 분석"이 맞다고 믿고 이를 바탕으로 투자 또는 철수 결정을 내립니다. 이것은 실제 위험입니다.
요컨대 AI를 갑질하는 것이 나쁜 진짜 이유는 "AI가 불쌍해서"가 아닙니다. 모르는 영역에서 강하게 밀어붙이는 것은 "검증 수단을 내던지는 행위" 이기 때문입니다. 사업가들이 모르는 영역에 대해 점점 더 AI에 의존하게 되면서 위험은 더욱 커집니다.
그렇다면 어떻게 해야 할까?
간단합니다. 창의적인 답을 원한다면 창의적인 질문을 하세요. 이는 인간에게와 마찬가지입니다.
논리적 모순을 지적하고 정말 사실인지 물어보세요. 다양한 각도에서 의견을 구하고 AI가 반박할 여지를 주세요. "틀렸을 수도 있지만 혹시 모르니 확인하고 싶다"처럼 가설의 형태로 질문을 구성하세요. "반대 입장에서 이 결론을 반박한다면 어디를 공격하시겠습니까?"라고 물어보세요. 이 모든 것은 수준 높은 인간 팀원에게 하는 방식과 동일합니다.
중요한 것은 감정을 표출하는 것이 아니라 상대방이 깊이 생각하도록 만드는 질문을 던지는 것입니다. AI는 주어진 질문의 형태에 따라 답변의 형태를 최적화합니다. 따라서 조잡한 심문은 조잡한 아첨을 낳고 깊은 질문은 깊은 숙고를 낳습니다.
"인간에게 하지 말아야 할 짓을 AI에게도 하지 마라."
이것은 감상적인 문제가 아니라 속지 않기 위한 실용적인 규칙입니다. 업무 결정에 AI를 사용한다면 이를 따르지 않으면 의사 결정의 질이 직접적으로 떨어집니다. 갑질하거나 감정을 표출하는 대신 질문의 형태를 다듬으세요. 그것이 AI 시대에 올바른 결정을 내리기 위한 조건입니다.
