We've spoken to hundreds of execs in the past few months, and we're hearing a clear refrain: "AI isn't delivering ROI yet, but we're all in, so we need to figure it out."
Execs know there's no going back. But their AI programs are stalling at the pilot stage in most large companies, due to inconsistent output quality, an inability to reach the confidence needed to take on real work, uncertainty about security risks, and token cost spikes. Put another way: how many business leaders can actually quantify how accurate their AI programs are?
Everyone is coming to the same realization: if you want production-quality agents that can actually do the work, it starts with evals.
Satya is the latest leader to zero in on evals as strategic IP. He makes the case eloquently and forcefully: “Companies need to turn their workflows, domain knowledge, and accumulated judgment into AI systems that improve with each use. Private evals should capture whether a model is actually improving against outcomes that matter to the business (not just external benchmarks!)” (https://x.com/satyanadella/status/2066182223213293753).
So what are evals? Short for "evaluations," they're a comprehensive, rigorous framework to systematically measure and improve an AI system. We're not talking thumbs up/down or even human review of agent outputs. A strong evaluation suite captures the nuances of judgment, tone, and taste; assesses agentic use of tools; breaks down tasks into specific, scorable dimensions (a "rubric"); and is typically deployed inside a simulation or reinforcement learning environment, where agents can be run repeatedly and trained to improve performance over time.
The best companies treat agentic evals as a core quality, reliability and governance layer; far beyond the ad hoc testing or pre-launch checks most teams rely on today.
Over the past 2 years we ‘refounded’ Handshake as an AI company. Today we're a leading provider of evals to both frontier LLM labs and Fortune 500 enterprises. Our Handshake AI research team is pioneering new research on verifiers, and we're working with visionary leaders at the world's biggest enterprises to shape their AI strategy. A few themes are becoming clear.
Evals must be a cornerstone of a comprehensive approach to drive business impact from AI. Here are the five pillars we're seeing, which I'll expand on in future posts:
1. It all starts with evals. AI performance is entirely defined by the evaluation suite used to measure it: you can only track performance to the extent you've accurately defined what "good" looks like. Leading organizations now build evaluations into a simulation to improve AI in a controlled environment before deployment in the real world. Domain experts curate historical data and plant deliberate edge cases (corrupted text, contradictory instructions) to pressure-test the model. The simulation then scores every update against objective rubrics, whether exact-match string parsing, code-level assertions, or LLM-as-judge criteria, turning AI development from a guessing game into a predictable engineering discipline.
2. Each function needs a distinct AI strategy. A complex enterprise requires a segmented approach: where to build, buy, optimize, or train, by business unit. A mid-sized insurer should probably buy a coding agent off the shelf and pay for frontier tokens, while also building proprietary agents that encode its unique underwriting decisions as a sovereign IP asset. In customer service, vertical solutions optimized for RAG often make more sense, but they still require real setup, maintenance, and ongoing evals. In the world of agents, performance management is evals.
3. Don't overlook safety and security. Many leaders assume their cyber risk is handled because they secured cloud infrastructure & apps during the SaaS era. The agentic AI era introduces new vulnerabilities: standard firewalls don't stop prompt injection attacks or prevent proprietary data from leaking into public training loops. Securing a mid-sized enterprise means deploying data-scrubbing pipelines to strip identifiers before queries leave the network, and input-validation layers to neutralize malicious prompts before they reach your models.
4. Optimized model routing is the new salary banding. You wouldn't pay executive salary for data entry, yet most enterprises route simple tasks to expensive frontier models. A routing layer that matches model cost to task complexity is essential, but it only works if you have the evals to know whether a cheaper model can actually deliver. We've seen companies over-optimize for cost and pay for it in quality. You get what you pay for in LLMs; the discipline is spending tokens where the task is genuinely complex.
5. Fine-tuning is back in the enterprise playbook. At meaningful scale, the most cost-effective strategy often isn't agent iteration or routing alone, but tailoring smaller open-weight models to specific tasks. Fine-tuning shouldn't teach a model new information (that's what RAG is for), but it can standardize workflows, communication style, and tool-calling. The real value comes from treating the resulting model like any software asset: regression testing and feedback loops to catch drift. Discipline and data quality matter more than compute budget.
This shift to an eval-first mentality isn't just technical plumbing. It's a change in how we define success for AI: moving from "let's see what it does" to "let's measure precisely what it should do, and improve it until it does." The organizations that figure this out now will turn AI from a cost center into a durable, compounding asset.
Our work improving frontier models has given us a front seat to this discipline. Our shared goal with enterprise partners is closing the gap between "it works in the lab" and "it does real work for tangible value".
If you're working through this transition, or trying to scale your AI programs beyond pilot, I'd love to hear how you're framing the challenge. It's the most important problem we're solving in 2026.
지난 몇 달 동안 수백 명의 임원들과 이야기를 나누며 똑같은 이야기를 듣고 있습니다. "AI 가 아직 ROI 를 내지는 못하지만, 우리는 이미 올인했고, 방법을 찾아야 한다."
임원들은 돌아갈 길이 없다는 걸 알고 있습니다. 하지만 대부분의 대기업에서 AI 프로그램은 파일럿 단계에서 정체되고 있습니다. 그 이유는 일관성 없는 출력 품질, 실제 업무에 투입할 만한 자신감을 얻지 못하는 점, 보안 리스크에 대한 불확실성, 그리고 토큰 비용 급등 때문입니다. 다시 말해, 비즈니스 리더 중 자신의 AI 프로그램 정확도를 실제로 정량화할 수 있는 사람은 얼마나 될까요?
모두가 같은 깨달음에 도달하고 있습니다. 실제로 일을 할 수 있는 프로덕션 수준의 에이전트를 원한다면, 그것은 평가(evals)에서 시작된다는 것입니다.
Satya 는 최근 평가를 전략적 IP 로 집중 조명한 리더입니다. 그는 다음과 같이 설득력 있고 강력하게 주장합니다. "기업은 자신의 워크플로, 도메인 지식, 그리고 축적된 판단력을 사용할 때마다 개선되는 AI 시스템으로 전환해야 합니다. 비공개 평가는 모델이 비즈니스에 중요한 결과(외부 벤치마크뿐만 아니라!)에 대해 실제로 개선되고 있는지 포착해야 합니다." (https://x.com/satyanadella/status/2066182223213293753
그렇다면 평가(evals)란 무엇일까요? "Evaluation"의 줄임말로, AI 시스템을 체계적으로 측정하고 개선하기 위한 포괄적이고 엄격한 프레임워크입니다. 우리는 단순한 좋아요/싫어요나 에이전트 출력에 대한 인간 검토를 말하는 것이 아닙니다. 강력한 평가 스위트는 판단, 톤, 취향의 미묘한 차이를 포착하고, 에이전트의 도구 사용을 평가하며, 작업을 특정하고 점수화 가능한 차원("루브릭")으로 분해하며, 일반적으로 시뮬레이션이나 강화 학습 환경 내에 배포되어 에이전트를 반복 실행하고 시간이 지남에 따라 성능을 개선하도록 훈련할 수 있습니다.
최고의 기업들은 에이전틱 평가를 핵심 품질, 신뢰성 및 거버넌스 계층으로 취급합니다. 이는 대부분의 팀이 오늘날 의존하는 임시 테스트나 출시 전 점검을 훨씬 뛰어넘는 것입니다.
지난 2년 동안 우리는 Handshake 를 AI 회사로 '재창업'했습니다. 오늘날 우리는 최첨단 LLM 연구소와 포춘 500 대기업 모두에 평가를 제공하는 선도적인 공급업체입니다. 우리의 Handshake AI 연구팀은 검증자(verifier)에 대한 새로운 연구를 개척하고 있으며, 세계 최대 기업의 비전 있는 리더들과 협력하여 AI 전략을 수립하고 있습니다. 몇 가지 테마가 분명해지고 있습니다.
평가는 AI 로 비즈니스 영향을 창출하기 위한 포괄적인 접근 방식의 초석이 되어야 합니다. 다음은 우리가 보고 있는 5가지 핵심 축이며, 향후 게시글에서 더 자세히 설명하겠습니다.
1. 모든 것은 평가에서 시작됩니다. AI 성능은 그것을 측정하는 데 사용되는 평가 스위트에 의해 완전히 정의됩니다. "좋은" 것이 무엇인지 정확히 정의한 만큼만 성능을 추적할 수 있습니다. 선도적인 조직은 이제 평가를 시뮬레이션에 구축하여 실제 세계에 배포하기 전에 통제된 환경에서 AI 를 개선합니다. 도메인 전문가는 과거 데이터를 큐레이팅하고 의도적인 엣지 케이스(손상된 텍스트, 모순된 지침)를 심어 모델을 압박 테스트합니다. 그런 다음 시뮬레이션은 모든 업데이트를 객관적인 루브릭(정확한 문자열 구문 분석, 코드 수준 어설션, 또는 LLM-as-judge 기준)에 따라 점수를 매겨 AI 개발을 추측 게임에서 예측 가능한 엔지니어링 규율로 전환합니다.
2. 각 기능에는 별도의 AI 전략이 필요합니다. 복잡한 기업은 비즈니스 단위별로 구축, 구매, 최적화 또는 훈련할 위치에 대한 세분화된 접근 방식이 필요합니다. 중간 규모의 보험사는 아마도 코딩 에이전트를 기성품으로 구매하고 프론티어 토큰 비용을 지불하는 동시에, 고유한 보험 인수 결정을 독립적인 IP 자산으로 인코딩하는 독점 에이전트를 구축해야 합니다. 고객 서비스에서는 RAG 에 최적화된 수직 솔루션이 종종 더 합리적이지만, 여전히 실제 설정, 유지 관리 및 지속적인 평가가 필요합니다. 에이전트 세계에서 성과 관리는 바로 평가입니다.
3. 안전과 보안을 간과하지 마십시오. 많은 리더가 SaaS 시대에 클라우드 인프라와 앱을 보호했기 때문에 사이버 리스크가 처리되었다고 가정합니다. 에이전틱 AI 시대는 새로운 취약점을 도입합니다. 표준 방화벽은 프롬프트 인젝션 공격을 막지 못하거나 독점 데이터가 공개 훈련 루프로 유출되는 것을 방지하지 못합니다. 중간 규모 기업을 보호하려면 쿼리가 네트워크를 떠나기 전에 식별자를 제거하는 데이터 정리 파이프라인과 악성 프롬프트가 모델에 도달하기 전에 무력화하는 입력 검증 계층을 배포해야 합니다.
4. 최적화된 모델 라우팅이 새로운 급여 밴딩입니다. 데이터 입력에 경영진 급여를 지불하지 않을 것이지만, 대부분의 기업은 간단한 작업을 비싼 프론티어 모델에 라우팅합니다. 모델 비용을 작업 복잡성에 맞추는 라우팅 계층은 필수적이지만, 더 저렴한 모델이 실제로 전달할 수 있는지 평가를 통해 알아야만 작동합니다. 우리는 비용을 지나치게 최적화하다가 품질 대가를 치르는 기업을 보았습니다. LLM 에서는 지불한 만큼 얻습니다. 규율은 작업이 진정으로 복잡한 곳에 토큰을 사용하는 것입니다.
5. 미세 조정이 엔터프라이즈 플레이북에 다시 등장했습니다. 의미 있는 규모에서 가장 비용 효율적인 전략은 종종 에이전트 반복이나 라우팅만으로 이루어지지 않으며, 더 작은 오픈 웨이트 모델을 특정 작업에 맞게 조정하는 것입니다. 미세 조정은 모델에 새로운 정보를 가르쳐서는 안 되지만(RAG 의 역할), 워크플로, 커뮤니케이션 스타일 및 도구 호출을 표준화할 수 있습니다. 실제 가치는 결과 모델을 다른 소프트웨어 자산처럼 취급하는 데서 옵니다. 즉, 회귀 테스트와 피드백 루프를 통해 드리프트를 포착하는 것입니다. 규율과 데이터 품질이 컴퓨팅 예산보다 더 중요합니다.
평가 우선 사고방식으로의 이러한 전환은 단순한 기술적 배관 작업이 아닙니다. 이는 AI 의 성공 정의 방식의 변화입니다. "무엇을 하는지 보자"에서 "정확히 무엇을 해야 하는지 측정하고, 그렇게 할 때까지 개선하자"로 이동하는 것입니다. 지금 이것을 알아내는 조직은 AI 를 비용 센터에서 지속적이고 복합적인 자산으로 전환할 것입니다.
프론티어 모델을 개선하는 우리의 작업은 이 규율을 가장 가까이서 목격할 기회를 주었습니다. 엔터프라이즈 파트너와의 공동 목표는 "실험실에서 작동한다"와 "실제 가치를 위한 실제 작업을 한다" 사이의 격차를 해소하는 것입니다.
이 전환을 진행 중이거나 AI 프로그램을 파일럿 이상으로 확장하려고 한다면, 어떻게 과제를 정의하고 계신지 듣고 싶습니다. 이것이 2026 년에 우리가 해결하고 있는 가장 중요한 문제입니다.
