Các tác nhân AI đang chuyển từ trả lời câu hỏi sang thực hiện hành động.
Sự thay đổi đơn lẻ đó làm thay đổi toàn bộ mô hình rủi ro.
Chatbot tạo ra văn bản. Tác nhân vận hành hệ thống.
Chúng có thể đọc email, gọi API, cập nhật hồ sơ khách hàng, triển khai mã, tạo ticket, phê duyệt các bước trong quy trình, phối hợp với các tác nhân khác và lưu trữ kiến thức mới vào bộ nhớ dài hạn.
Điều đó có nghĩa là câu hỏi cốt lõi không còn là:
<em>Câu trả lời này có đúng không?</em>
Nó là:
<strong>Tác nhân này có được phép hành động ngay bây giờ không?</strong>
Đó là câu hỏi mà một lớp quản trị (governance layer) tồn tại để trả lời.
1. Bộ nhớ rất hữu ích. Nhưng nó không phải là quản trị.
Bộ nhớ giúp các tác nhân duy trì ngữ cảnh qua các phiên làm việc.
Nó giúp chúng ghi nhớ sở thích của người dùng, công việc đã làm, kết quả đầu ra của công cụ và các quyết định trước đó. Điều đó rất quan trọng. Nhưng bộ nhớ không quyết định:
- thông tin nào được phép đưa vào bộ nhớ
- thông tin nào đã lỗi thời hoặc bị nhiễm độc
- hành động nào yêu cầu sự chấp thuận
- bước quy trình nào phải đến tiếp theo
- bằng chứng nào là cần thiết trước khi thực thi
- tác nhân nào được phép sử dụng thông tin nào
Trong các hệ thống tác nhân sản xuất, vấn đề khó hơn thường không phải là truy xuất. Nó là thẩm quyền (authority).
Bộ nhớ giúp tác nhân ghi nhớ.
<strong>Quản trị giúp nó chọn những gì nó được phép làm.</strong>
Sự khác biệt này chính là nơi Marrow hoạt động.
Marrow không chỉ là một lớp bộ nhớ. Nó là một lớp phán quyết (judgment layer) cho các đội tác nhân AI.
2. Khả năng quan sát giải thích quá khứ. Tác nhân cần kiểm soát trước tương lai.
Khả năng quan sát là cần thiết. Các đội cần dấu vết (traces), nhật ký (logs), đánh giá (evaluations), chú thích (annotations), cảnh báo (alerts) và bảng điều khiển (dashboards).
Nhưng khả năng hiển thị sau sự việc không ngăn chặn một hành động xấu trước khi nó xảy ra.
Nếu một tác nhân triển khai mã không an toàn, gửi email nhạy cảm, phê duyệt khoản thanh toán sai hoặc bỏ qua một bước quy trình bắt buộc, bảng điều khiển có thể giải thích sự cố sau đó. Nó không nhất thiết ngăn chặn được nó.
Đối với các quy trình công việc có tác động cao, tín hiệu phải đến được tác nhân trước hành động:
- mức độ rủi ro
- bằng chứng bắt buộc
- các ràng buộc chính sách
- sự chấp thuận của chủ sở hữu
- kế hoạch khôi phục
- bước tiếp theo chính xác
- cho phép, cảnh báo, xem xét hoặc chặn
Đây là khoảng cách giữa khả năng quan sát và quản trị.
Bảng điều khiển cung cấp thông tin cho con người.
<strong>Quản trị cung cấp thông tin cho tác nhân trước khi chúng hành động.</strong>
3. Đánh giá là một ảnh chụp nhanh. Sản xuất là một luồng liên tục.
Đánh giá trước khi triển khai phát hiện nhiều lỗi. Nhưng các tác nhân trong sản xuất hoạt động trong môi trường luôn thay đổi.
Prompt thay đổi. Công cụ thay đổi. API thay đổi. Dữ liệu thay đổi. Chính sách thay đổi. Các tác nhân khác trong đội thay đổi.
Một điểm chuẩn có thể nói rằng một tác nhân hoạt động tốt trong một bộ điều kiện nhất định. Sản xuất đặt ra một câu hỏi khác:
<em>Tác nhân này có tiếp tục đưa ra quyết định đúng đắn khi môi trường thay đổi không?</em>
Nghiên cứu về các tác nhân sử dụng công cụ cũng chỉ ra cùng một hướng.
ToolEmu nghiên cứu các tác nhân mô hình ngôn ngữ sử dụng các công cụ rủi ro cao và cho thấy rằng lỗi của tác nhân có thể gây ra hậu quả nghiêm trọng trong thế giới thực. AgentHarm và CUAHarm tập trung vào hành vi có hại khi các tác nhân có thể sử dụng công cụ hoặc vận hành máy tính. Nghiên cứu khác cho thấy rằng các tác nhân có thể hiểu rủi ro về mặt lý thuyết nhưng vẫn thất bại trong việc tránh các hành động rủi ro trong các lộ trình cụ thể.
Bài học thực tế là:
<strong>Sự an toàn không thể chỉ tồn tại trong mô hình hoặc chỉ trong một điểm chuẩn.</strong>
Các tác nhân trong sản xuất cần kiểm soát trong thời gian chạy (runtime control).
4. Quản trị đang trở thành cơ sở hạ tầng AI.
Các khuôn khổ quản trị AI lớn đang hội tụ về cùng một ý tưởng: AI có trách nhiệm phải trở nên có thể vận hành được.
Không chỉ là các nguyên tắc.
Không chỉ là các tệp PDF chính sách.
Không chỉ là các bảng điều khiển.
Quản trị có thể vận hành đòi hỏi:
- quản lý rủi ro được lập thành văn bản
- ghi nhật ký tự động
- sự giám sát của con người đối với các quyết định có tác động cao
- quản lý chất lượng trong suốt vòng đời
- khả năng truy xuất nguồn gốc của hành vi hệ thống
- giám sát sau thị trường
- trách nhiệm giải trình đối với các kết quả bất lợi
Điều này có thể thấy rõ trong NIST AI RMF, Hồ sơ AI Tổng quát của NIST (NIST's Generative AI Profile), ISO/IEC 42001, Các Nguyên tắc AI của OECD, Đạo luật AI của EU, Phân loại rủi ro AI tác nhân của OWASP và hướng dẫn năm 2026 của Five Eyes về các dịch vụ AI tác nhân.
Hướng đi rất rõ ràng.
Các hệ thống AI doanh nghiệp cần bằng chứng, kiểm soát, khả năng truy xuất nguồn gốc và trách nhiệm giải trình trong suốt vòng đời hoạt động của chúng.
Đối với các tác nhân AI, điều đó có nghĩa là quản trị phải được đưa vào thời gian chạy.
5. Một lớp quản trị tác nhân nên làm gì
Một lớp quản trị là một mặt phẳng điều khiển (control plane) giữa môi trường thời gian chạy của tác nhân và các hệ thống mà tác nhân có thể tác động.
Nó nhận hành động dự định của tác nhân, đánh giá nó dựa trên chính sách, quyền hạn, rủi ro, bằng chứng và kết quả trước đó, sau đó trả về một quyết định có thể thực thi:
<strong>cho phép (allow)</strong>
<strong>cảnh báo (warn)</strong>
<strong>cần xem xét (review required)</strong>
<strong>chặn (block)</strong>
Một lớp quản trị nghiêm túc cần có chín chức năng.
- Danh tính và thẩm quyền có phạm vi
Mọi tác nhân cần một danh tính rõ ràng, quyền hạn giới hạn và thông tin xác thực có phạm vi.
Một đội tác nhân không thể được quản trị nếu mọi tác nhân đều chia sẻ cùng một khóa API.
- Chính sách thời gian chạy
Các chính sách phải trở thành các điều kiện thời gian chạy có thể thực thi được.
Bước nào đến trước?
Bằng chứng nào là bắt buộc?
Hành động nào luôn cần xem xét?
Hành động nào không bao giờ được chạy tự động?
- Cổng rủi ro
Hệ thống nên phân loại các hành động theo tác động, khả năng đảo ngược, độ nhạy cảm và bối cảnh kinh doanh.
Công việc rủi ro thấp có thể chạy tự động. Công việc rủi ro cao có thể yêu cầu bằng chứng, sự chấp thuận hoặc bị chặn.
- Gói bằng chứng
Trước khi hành động, tác nhân nên đính kèm bằng chứng.
Ví dụ:
- mức độ bao phủ kiểm thử
- kế hoạch khôi phục
- điều khoản chính sách
- xác minh danh tính
- phê duyệt lâm sàng
- đánh giá hóa đơn
- xác nhận của người giám sát
- Định tuyến phê duyệt
Việc xem xét của con người không nên là một hàng đợi thủ công cho mọi thứ.
Nó nên là một điểm kiểm tra có điều kiện cho các hành động mà chi phí sai lầm là cao.
- Kiểm toán và nguồn gốc
Mọi quyết định phải có thể truy xuất nguồn gốc.
Ai đã khởi xướng nó?
Tại sao nó được cho phép hoặc bị chặn?
Chính sách nào đã được áp dụng?
Bằng chứng nào đã được đính kèm?
Ai đã phê duyệt nó?
Điều gì đã xảy ra tiếp theo?
- Kết thúc kết quả
Quản trị không kết thúc ở việc cho phép hay chặn.
Hệ thống phải khép kín vòng lặp:
- hành động có thành công không?
- nó có thất bại không?
- có cần khôi phục không?
- ai đã phê duyệt nó?
- bài học nào nên được lưu trữ?
- Quản trị ghi bộ nhớ
Không phải mọi nhật ký đều là kiến thức.
Không phải mọi mảnh kiến thức đều nên ảnh hưởng đến mọi tác nhân.
Các kết quả thực tế chỉ nên trở thành bộ nhớ thông qua việc ghi có kiểm soát.
- Học tập ở cấp độ đội
Lớp quản trị nên theo dõi hành vi trên toàn đội:
- sự sai lệch so với các quy trình cơ bản
- các vòng lặp thử lại
- các lỗi lặp lại
- các mẫu hình cần cảnh báo các tác nhân trong tương lai
Đây là nơi quản trị trở nên nhiều hơn là sự hạn chế. Nó trở thành sự học tập.
6. Marrow như một nghiên cứu điển hình về quản trị
Marrow được thiết kế xoay quanh một vòng lặp hoạt động đơn giản:
định hướng−>suy nghĩ−>hành động−>kiểm tra−>cam kết
Mỗi bước đều có một chức năng quản trị.
Định hướng (Orient) đưa ra lịch sử liên quan, cảnh báo và các ràng buộc.
Suy nghĩ (Think) đánh giá hành động dự định trước khi nó xảy ra.
Hành động (Act) thực thi với ngữ cảnh và các rào cản được đính kèm.
Kiểm tra (Check) kiểm tra xem bằng chứng hoặc kết thúc có bị thiếu không.
Cam kết (Commit) ghi lại kết quả để quyết định tiếp theo được cải thiện.
Đây là sự khác biệt cốt lõi giữa bộ nhớ và phán quyết.
Bộ nhớ hỏi:
<em>Tác nhân biết những gì?</em>
Marrow hỏi:
<strong>Tác nhân có nên hành động không, và trong những điều kiện nào?</strong>
Các bề mặt sản phẩm của nó ánh xạ trực tiếp đến quản trị thời gian chạy:
- decisionBrief() cung cấp cho tác nhân ngữ cảnh trước hành động.
- workflowGate() trả về cho phép, cảnh báo, cần xem xét hoặc chặn.
- runGuarded() bao bọc công việc rủi ro với hướng dẫn trước hành động và kết thúc kết quả.
- agentRuntime() đưa các bài học và yêu cầu bằng chứng vào ngữ cảnh của tác nhân.
- agentStatus() hiển thị liệu Marrow có đang hoạt động và thu thập tín hiệu hữu ích hay không.
- valueReport() biến quản trị thành bằng chứng có thể nhìn thấy được bởi chủ sở hữu.
Nói cách khác:
<strong>Marrow biến các kết quả trong quá khứ thành phán quyết trước hành động.</strong>
7. Một ví dụ cụ thể: bản triển khai tồi
Hãy tưởng tượng một tác nhân CI/CD sắp triển khai một thay đổi webhook thanh toán.
Bản dựng thành công.
Nhánh đã sẵn sàng.
Tác nhân sắp đẩy lên môi trường sản xuất.
Nhưng pull request đang thiếu ba thứ:
- mức độ bao phủ kiểm thử
- kế hoạch khôi phục
- kiểm thử khói (smoke test)
Nếu không có quản trị, việc triển khai có thể diễn ra.
Các lỗi thanh toán xuất hiện vài giờ sau đó. Khách hàng bị ảnh hưởng. Kỹ sư trực ca phải khôi phục thủ công. Sự cố trở thành một bài phân tích hậu kỳ khác.
Với quản trị, cổng quy trình làm việc chạy trước khi triển khai.
Nó trả về:
<strong>mức độ rủi ro: cao</strong>
<strong>thiếu gói bằng chứng</strong>
<strong>triển khai bị chặn</strong>
Tác nhân không chỉ ghi nhật ký nhiều hơn. Nó đang bị buộc phải dừng lại đúng lúc.
Đó là giá trị của quản trị trước hành động.
8. Các chỉ số phù hợp cho quản trị tác nhân
Một lớp quản trị không chỉ nên đếm nhật ký.
Nó nên đo lường xem đội tác nhân có đang trở nên an toàn hơn, nhất quán hơn và dễ kiểm toán hơn hay không.
Các chỉ số hữu ích bao gồm:
- Mức độ bao phủ hành động: có bao nhiêu hành động có tác động cao đi qua một cổng
- Tỷ lệ hoàn thành bằng chứng: có bao nhiêu hành động bao gồm bằng chứng bắt buộc trước khi thực thi
- Tỷ lệ kết thúc kết quả: có bao nhiêu quyết định được kết thúc với một kết quả thực tế
- Ngăn chặn lỗi lặp lại: tần suất các mẫu lỗi đã biết được tránh
- Mức độ nghiêm trọng của sự sai lệch: các tác nhân đi xa đến mức nào so với các quy trình đã được phê duyệt
- Tỷ lệ dương tính giả: tần suất cổng chặn quá nhiều
- Tỷ lệ âm tính giả: tần suất các hành động nguy hiểm lọt qua
- Thời gian tái tạo kiểm toán: mất bao lâu để giải thích một quyết định
- Độ chính xác của việc xem xét của con người: liệu sự chấp thuận của con người có được sử dụng cho các hành động đúng đắn hay không
Quản trị hữu ích khi nó giảm thiểu việc khôi phục, ngăn ngừa các sự cố lặp lại, thu hẹp việc xem xét không cần thiết và làm cho hành vi của tác nhân dễ chứng minh hơn.
Nếu không, nó trở thành kịch bản tuân thủ.
9. Bản thân lớp quản trị cũng có rủi ro
Một lớp quản trị cũng có thể thất bại.
Nó có thể bị cấu hình sai. Các chính sách có thể trở nên lỗi thời. Bằng chứng có thể không đầy đủ. Các cổng có thể chặn quá mức. Kẻ tấn công có thể nhắm vào mặt phẳng điều khiển. Nếu nó lưu trữ quá nhiều dữ liệu nhạy cảm, nó trở thành một điểm tập trung rủi ro.
Vì vậy, bản thân lớp quản trị cũng cần kỷ luật:
- Đặc quyền tối thiểu theo mặc định Các tác nhân chỉ nên nhận được các quyền mà chúng cần, trong khoảng thời gian chúng cần.
- Đóng khi thất bại (fail closed) cho các hành động có tác động cao Nếu hành động có thể gây ra tác hại nghiêm trọng, việc thiếu bằng chứng nên dừng thực thi.
- Hỏng mềm (fail soft) cho tự động hóa rủi ro thấp Không phải mọi hành động đều xứng đáng với cùng một mức độ ma sát.
- Bằng chứng có thể đọc được bởi con người, chính sách có thể đọc được bởi máy móc Người vận hành cần hiểu quyết định. Hệ thống cần thực thi nó.
- Học hỏi từ các kết quả thực tế Nếu không có kết thúc kết quả, hệ thống tích lũy nhật ký, chứ không phải phán quyết.
10. Kết luận
Các tác nhân AI đẩy phần mềm vào một mô hình vận hành mới.
Chúng có thể chọn công cụ, phối hợp với các tác nhân khác, sửa đổi hệ thống và tạo ra hậu quả.
Trong mô hình đó, quản trị không phải là một lớp được thêm vào sau khi triển khai. Nó thuộc về bên trong thời gian chạy.
Bộ nhớ, khả năng quan sát, đánh giá và sự xem xét của con người đều quan trọng. Nhưng mỗi thứ chỉ giải quyết một phần của vấn đề.
Một lớp quản trị kết nối chúng thành một vòng lặp hành động có trách nhiệm giải trình:
chính sách trước hành động bằng chứng trước khi thực thi thẩm quyền trong quá trình hành động kết quả sau hành động học tập trên toàn đội
Đó là luận điểm đằng sau Marrow.
Các đội tác nhân AI không chỉ đơn giản cần ghi nhớ nhiều hơn.
Chúng cần phán quyết tốt hơn trước khi hành động.
Tài liệu tham khảo
- NIST. Khuôn khổ Quản lý Rủi ro AI
- NIST. Hồ sơ AI Tổng quát, NIST AI 600-1
- OECD. Các Nguyên tắc AI của OECD
- Bàn dịch vụ Đạo luật AI của Ủy ban Châu Âu. Điều 9: Hệ thống quản lý rủi ro
- Bàn dịch vụ Đạo luật AI của Ủy ban Châu Âu. Điều 12: Lưu trữ hồ sơ
- Bàn dịch vụ Đạo luật AI của Ủy ban Châu Âu. Điều 14: Sự giám sát của con người
- Bàn dịch vụ Đạo luật AI của Ủy ban Châu Âu. Điều 17: Hệ thống quản lý chất lượng
