Chúng tôi đã trao đổi với hàng trăm lãnh đạo cấp cao trong vài tháng qua và chúng tôi đang nghe thấy một điệp khúc rõ ràng: “AI chưa mang lại ROI, nhưng chúng tôi đã dấn thân rồi, nên cần phải tìm ra cách.”
Các lãnh đạo biết rằng không thể quay đầu. Nhưng các chương trình AI của họ đang bị đình trệ ở giai đoạn thử nghiệm tại hầu hết các công ty lớn, do chất lượng đầu ra không ổn định, không đạt được độ tin cậy cần thiết để đảm nhận công việc thực tế, sự không chắc chắn về rủi ro bảo mật, và chi phí token tăng vọt. Nói cách khác: có bao nhiêu nhà lãnh đạo doanh nghiệp thực sự có thể định lượng được độ chính xác của chương trình AI của họ?
Mọi người đều đi đến cùng một nhận thức: nếu bạn muốn các tác nhân (agent) chất lượng sản xuất có thể thực sự làm việc, thì tất cả bắt đầu từ đánh giá (evals).
Satya là nhà lãnh đạo mới nhất tập trung vào đánh giá như một tài sản chiến lược. Ông ấy lập luận một cách hùng hồn và mạnh mẽ: “Các công ty cần biến quy trình làm việc, kiến thức chuyên môn và khả năng phán đoán tích lũy của mình thành các hệ thống AI cải thiện qua mỗi lần sử dụng. Các đánh giá nội bộ nên nắm bắt liệu mô hình có thực sự cải thiện so với các kết quả quan trọng đối với doanh nghiệp (không chỉ các benchmark bên ngoài!)” (https://x.com/satyanadella/status/2066182223213293753).
Vậy đánh giá (evals) là gì? Viết tắt của “evaluations”, chúng là một khung toàn diện và nghiêm ngặt để đo lường và cải thiện hệ thống AI một cách có hệ thống. Chúng tôi không nói đến việc like/dislike hay thậm chí là đánh giá con người về đầu ra của tác nhân. Một bộ đánh giá mạnh mẽ nắm bắt được các sắc thái của phán đoán, giọng điệu và thị hiếu; đánh giá việc sử dụng công cụ của tác nhân; phân tích các nhiệm vụ thành các khía cạnh cụ thể, có thể chấm điểm (một “rubric”); và thường được triển khai trong môi trường mô phỏng hoặc học tăng cường, nơi các tác nhân có thể được chạy lặp lại và huấn luyện để cải thiện hiệu suất theo thời gian.
Các công ty tốt nhất coi các đánh giá tác nhân (agentic evals) như một lớp chất lượng, độ tin cậy và quản trị cốt lõi; vượt xa các kiểm tra ad hoc hoặc kiểm tra trước khi ra mắt mà hầu hết các đội dựa vào hiện nay.
Trong 2 năm qua, chúng tôi đã “tái lập” Handshake thành một công ty AI. Hôm nay, chúng tôi là nhà cung cấp hàng đầu về đánh giá cho cả các phòng thí nghiệm LLM hàng đầu và các doanh nghiệp Fortune 500. Nhóm nghiên cứu AI của Handshake đang tiên phong trong nghiên cứu mới về bộ xác minh (verifiers), và chúng tôi đang hợp tác với các nhà lãnh đạo có tầm nhìn tại các doanh nghiệp lớn nhất thế giới để định hình chiến lược AI của họ. Một số chủ đề đang trở nên rõ ràng.
Đánh giá phải là nền tảng của một cách tiếp cận toàn diện để thúc đẩy tác động kinh doanh từ AI. Dưới đây là năm trụ cột mà chúng tôi đang thấy, và tôi sẽ mở rộng trong các bài viết sau:
1. Tất cả bắt đầu từ đánh giá. Hiệu suất AI hoàn toàn được định nghĩa bởi bộ đánh giá dùng để đo lường nó: bạn chỉ có thể theo dõi hiệu suất đến mức bạn đã xác định chính xác “tốt” trông như thế nào. Các tổ chức hàng đầu hiện xây dựng các đánh giá vào mô phỏng để cải thiện AI trong môi trường kiểm soát trước khi triển khai ra thế giới thực. Các chuyên gia trong lĩnh vực quản lý dữ liệu lịch sử và cố tình đưa vào các trường hợp biên (văn bản bị hỏng, hướng dẫn mâu thuẫn) để kiểm tra sức ép mô hình. Sau đó, mô phỏng chấm điểm mọi bản cập nhật dựa trên các tiêu chí đánh giá khách quan, cho dù là phân tích chuỗi khớp chính xác, khẳng định cấp mã, hay tiêu chí LLM làm giám khảo, biến phát triển AI từ trò chơi phỏng đoán thành một kỹ thuật kỹ thuật có thể dự đoán được.
2. Mỗi chức năng cần một chiến lược AI riêng biệt. Một doanh nghiệp phức tạp đòi hỏi một cách tiếp cận phân đoạn: nơi nào xây dựng, mua, tối ưu hóa, hay huấn luyện, theo từng đơn vị kinh doanh. Một công ty bảo hiểm quy mô vừa có thể mua một tác nhân viết mã (coding agent) có sẵn và trả tiền cho các token hàng đầu, đồng thời xây dựng các tác nhân độc quyền mã hóa các quyết định bảo hiểm độc đáo của mình như một tài sản trí tuệ độc quyền. Trong dịch vụ khách hàng, các giải pháp theo chiều dọc được tối ưu hóa cho RAG thường hợp lý hơn, nhưng chúng vẫn yêu cầu thiết lập, bảo trì và đánh giá liên tục. Trong thế giới của các tác nhân, quản lý hiệu suất chính là đánh giá.
3. Đừng xem nhẹ an toàn và bảo mật. Nhiều nhà lãnh đạo cho rằng rủi ro mạng của họ đã được xử lý vì họ đã bảo mật cơ sở hạ tầng đám mây và ứng dụng trong thời kỳ SaaS. Kỷ nguyên AI tác nhân giới thiệu các lỗ hổng mới: tường lửa tiêu chuẩn không ngăn chặn được các cuộc tấn công chèn prompt hoặc ngăn dữ liệu độc quyền rò rỉ vào các vòng huấn luyện công khai. Bảo mật một doanh nghiệp quy mô vừa có nghĩa là triển khai các đường ống làm sạch dữ liệu để loại bỏ các định danh trước khi truy vấn rời khỏi mạng, và các lớp xác thực đầu vào để vô hiệu hóa các prompt độc hại trước khi chúng đến mô hình của bạn.
4. Định tuyến mô hình tối ưu hóa là bảng lương mới. Bạn sẽ không trả lương điều hành cho nhập liệu, nhưng hầu hết các doanh nghiệp đều định tuyến các tác vụ đơn giản đến các mô hình hàng đầu đắt tiền. Một lớp định tuyến khớp chi phí mô hình với độ phức tạp của tác vụ là cần thiết, nhưng chỉ hoạt động nếu bạn có các đánh giá để biết liệu một mô hình rẻ hơn có thực sự mang lại kết quả hay không. Chúng tôi đã thấy các công ty tối ưu hóa quá mức cho chi phí và phải trả giá bằng chất lượng. Bạn nhận được những gì bạn bỏ ra trong LLMs; kỷ luật là chi tiêu token ở nơi tác vụ thực sự phức tạp.
5. Fine-tuning đã trở lại trong sách lược doanh nghiệp. Ở quy mô đáng kể, chiến lược hiệu quả về chi phí nhất thường không chỉ là lặp tác nhân hay định tuyến, mà là điều chỉnh các mô hình trọng số mở nhỏ hơn cho các tác vụ cụ thể. Fine-tuning không nên dạy mô hình thông tin mới (đó là việc của RAG), nhưng nó có thể tiêu chuẩn hóa quy trình làm việc, phong cách giao tiếp và gọi công cụ. Giá trị thực sự đến từ việc coi mô hình kết quả như bất kỳ tài sản phần mềm nào: kiểm tra hồi quy và vòng lặp phản hồi để phát hiện sai lệch. Kỷ luật và chất lượng dữ liệu quan trọng hơn ngân sách tính toán.
Sự chuyển dịch sang tư duy coi đánh giá là hàng đầu này không chỉ là vấn đề kỹ thuật. Đó là sự thay đổi trong cách chúng ta định nghĩa thành công cho AI: từ “hãy xem nó làm gì” sang “hãy đo lường chính xác nó nên làm gì, và cải thiện nó cho đến khi nó làm được”. Các tổ chức nắm bắt được điều này ngay bây giờ sẽ biến AI từ một trung tâm chi phí thành một tài sản bền vững, có sức bội tăng.
Công việc cải thiện các mô hình tiên tiến của chúng tôi đã cho chúng tôi một vị trí thuận lợi để theo dõi kỷ luật này. Mục tiêu chung của chúng tôi với các đối tác doanh nghiệp là thu hẹp khoảng cách giữa “nó hoạt động trong phòng thí nghiệm” và “nó thực sự làm việc tạo ra giá trị hữu hình”.
Nếu bạn đang vượt qua giai đoạn chuyển đổi này, hoặc cố gắng mở rộng các chương trình AI của mình ra khỏi giai đoạn thử nghiệm, tôi rất muốn nghe cách bạn đang định hình thách thức đó. Đây là vấn đề quan trọng nhất chúng tôi đang giải quyết trong năm 2026.
