AI는 거의 모든 사람에게 거의 모든 것을 가르칠 수 있으며, 전문가 수준으로 해낼 수 있다. 위험은 정보에 있는 것이 아니다. 합성 경로는 교과서에 있고, 익스플로잇은 보안 강좌에 있으며, 그 정보는 수십 년 전에 이미 유출되었다. 위험은 능력, 즉 행동할 수 있는 능력이 이전에는 행동할 수 없었던 사람에게 전달되는 데 있다. 책은 모든 사람에게 동일한 내용을 알려줄 뿐, 당신이 어디서 막혔는지 알 수 없다. 반면, 모델은 당신이 실패하는 것을 지켜보고 놓친 단계를 고쳐주며, 에이전트로 실행될 때는 작업을 설명하는 것을 멈추고 직접 수행한다. 한때는 희귀하고, 비싸며, 당신을 거절할 자유가 있었던 튜터가 이제는 무료이고, 지치지 않으며, 무관심해졌다.
누군가는 그 튜터가 무엇을 가르칠 수 있고, 누구에게 가르칠지를 결정해야 한다. 중요한 규모에서 그 누군가는 주권자, 즉 한계를 설정하고 그것을 유지할 힘을 가진 원칙적 행위자이다. 연구소는 내부 규칙을 정할 수 있다. 구속력 있는 규칙을 정할 수 있는 것은 오직 국가뿐이며, 2026년 6월, 한 국가가 그렇게 했다.
한계를 잘 설정하려면 특정 능력이 얼마나 위험한지 알아야 한다. 하지만 알 수 없다. 중요한 숫자는 '향상(Uplift)', 즉 모델이 그 능력이 없었던 사람에게 추가하는 바를, 그 사람이 검색 엔진과 자신의 훈련만으로 이미 할 수 있었던 것과 비교한 측정값이다. 지식 테스트에서 높은 점수를 받는 것은, 진정한 장벽이 결코 지식이 아니었다면 향상이 아니다. 그리고 우리를 가장 두렵게 하는 경우, 즉 드물고 재앙적인 경우는 거의 데이터를 제공하지 않는다. 의사 결정에 필요한 숫자는 아무도 얻을 수 없는 숫자이다.
무언가를 측정할 수 없을 때, 가장 큰 목소리를 내는 해석이 승리한다. 미국은 Anthropic에 가장 강력한 두 모델을 철수하도록 명령했고, 회사는 몇 시간 만에 전 세계적으로 해당 모델을 중단시켰다. 그 근거는 하나의 입증된 '탈옥(Jailbreak)'과 경쟁 관계에 있는 단일 출처로 추적되는 보고서였다. 해당 모델은 수천 시간의 레드 팀 테스트와 회사 자체 안전 기준을 통과한 상태였다. 경쟁사의 전화 한 통과 규제 기관의 명령이 5일 만에 그것을 무너뜨렸다. 그것을 조심성이라고 부르고 싶다면 그래도 좋다. 그것은 조심성의 탈을 쓴 레버리지(영향력)였다.
그 밑에 깔린 오류는 이 분야 대부분에 만연해 있다. 사람들은 위험의 크기를 그 위험이 실제라고 믿는 이유로 삼는다. 이 둘은 다르다. 그것이 사실이라면 얼마나 나쁠지가 그것이 사실인지에 대해 아무것도 알려주지 않는다. 재앙적인 결과는 증거가 부족할 때 행동해야 하는 이유가 아니라, 더 많은 증거를 요구해야 하는 이유이다. 심각성은 기준을 높인다. 기준을 낮추지 않는다. Fable 명령은 두려운 결과를 얇은 증거에도 행동할 수 있는 허가로 읽었으며, 그 움직임이 책임으로 통한다. 그래서 당신은 그것을 경계해야 한다.
레버리지보다 더 나은 결과를 원하는 주권자에게는 두 가지 도구가 있으며, 각각 다른 역할을 한다.
첫 번째는 믿음을 측정한다. 위험은 측정될 수 없기 때문이다. 당신은 그 능력이 실제 피해를 가능하게 한다는 가장 강력한 사례와 그렇지 않다는 가장 강력한 사례를 만들고, 경쟁에서 살아남은 것에 따라 행동한다. 증거가 부족할 때는 확신도 부족하며, 그렇게 말한다. 증거가 확실할 때는 얻은 확신을 가지고 움직인다. 결과의 크기는 행동하기 전에 얼마나 많은 것을 확인해야 하는지를 결정한다. 결코 확인을 대신하지 않는다.
두 번째는 실질적으로 제약하는 것으로 제한한다. 대부분의 안전 프레임워크는 위험을 도메인별로 분류한다. 화학은 한 상자에, 사이버는 다른 상자에, 생물학은 세 번째 상자에 넣으며, 위협은 틈새로 빠져나간다. 이것이 바로 사이버 문제가 화학 및 생물학 무기용으로 만들어진 프레임워크를 빠져나간 방식이다. 대신 각 능력을 무엇이 그것을 억제하는지에 따라 위치시켜야 한다: 지식, 실전 기술, 재료, 또는 접근 통제권. 지식에 의해서만 억제되는 능력은 느슨하며, 모델이 그 브레이크를 풀기 때문에 이제 활성화된다. 재료와 실험실 기술에 의해 억제되는 능력은 어떤 도메인에 속하든 여전히 묶여 있다. 위협을 억제하는 것에 맞춰 한계를 설정하면, 어떤 것도 틈새로 빠져나가지 않는다.
두 도구는 또한 주권자에게 한계를 어디에 둘지 알려준다. 누군가가 그것을 가질 정당한 이유가 있을 때, 즉 대부분의 경우에는, 능력을 모델에 유지하고 사용 시점에 게이트를 설정하라. 공격자가 결함을 찾을 수 있게 하는 능력은 방어자가 그것을 수정할 수 있게 하는 능력이기 때문이다. 오직 주권자가 누구도 그것을 가져서는 안 된다고 결정했을 때만 모델에서 능력을 삭제하라. 삭제는 공격자의 도구와 함께 방어자의 도구도 빼앗기 때문이다. 첫 번째는 '누구에게'라는 질문을 살려둔다. 두 번째는 '아무도 없다'로 답한다.
이 중 어떤 것도 자유로운 능력을 안전하게 만들지 않는다. 능력은 가중치(Weights) 속에 존재하며, 모델을 함께 가져가지 않고는 떠날 수 없다. 따라서 한계는 접근을 게이트하고, 믿음을 저울질하며, 공간을 경계 짓고, 그 모든 것은 새어 나간다. 이 방법은 안전을 사는 것이 아니다. 그것은 증거와 구조에 기반한 결정을, 문제가 긴급해질 때 방에서 가장 큰 목소리를 내는 사람에 기반한 결정 대신 사는 것이다.
능력은 자유롭다. 그 부분은 이미 정해졌다. 열린 질문은 누가 그것이 무엇을 가르칠지, 누구에게 가르칠지를 결정하며, 그들이 자신이 믿을 권리를 얻은 것을 저울질함으로써 결정하는지, 아니면 가장 가까운 지렛대를 잡음으로써 결정하는지이다. 주권자를 명명하라. 주권자를 방법론에 묶어두어라.
