Hầu hết các tác nhân AI không thất bại vì mô hình yếu.
Chúng thất bại vì hệ thống xung quanh mô hình yếu.
Một prompt mơ hồ.
Một lệnh gọi công cụ bị hỏng.
Tác nhân thử lại sai thứ.
Nó quên những gì đã học được hai bước trước.
Nó lặp lại cùng một hành động xấu.
Nó tuyên bố thành công quá sớm.
Và không ai xây dựng vòng phản hồi để kịp thời phát hiện ra sai lầm.
Đó mới là vấn đề thực sự.
Nếu bạn muốn xây dựng các tác nhân AI thực sự cải thiện theo thời gian, bạn cần nhiều hơn là những prompt tốt hơn, nhiều công cụ hơn, hay nhiều quyền tự chủ hơn.
Bạn cần kỹ thuật vòng lặp.
Kỹ thuật vòng lặp là nguyên tắc thiết kế cách một tác nhân:
- quan sát những gì đã xảy ra
- đánh giá xem nó có hiệu quả không
- cập nhật bước đi tiếp theo
- lưu trữ phản hồi hữu ích
- thử lại hoặc chuyển tiếp một cách thông minh
- trở nên tốt hơn thay vì chỉ bận rộn hơn
Sự thay đổi đó rất quan trọng.
Bởi vì thế hệ tác nhân AI hữu ích tiếp theo sẽ không được định nghĩa bởi vẻ ngoài ấn tượng trong một lần chạy demo.
Chúng sẽ được định nghĩa bởi khả năng:
- phục hồi sau sai lầm
- học hỏi từ những thất bại lặp đi lặp lại
- cải thiện chất lượng mà không cần con người giám sát từng bước
- duy trì sự ổn định, có thể đo lường và đáng tin cậy trong sản xuất
Đó là nội dung của bài viết này.
Muốn có nhiều hệ thống AI thực tế như thế này hơn? ByteBuilders chia sẻ những phân tích ngắn gọn, hữu ích về Claude, quy trình làm việc AI, prompt, tự động hóa và các hệ thống kỹ thuật trong thế giới thực.
Đăng ký tại đây:
Nếu bạn hiểu kỹ thuật vòng lặp, bạn sẽ ngừng xây dựng các tác nhân mong manh chỉ hoạt động khi mọi thứ suôn sẻ.
Bạn bắt đầu xây dựng các hệ thống cải thiện vì chúng được thiết kế để học hỏi.
Đầu tiên, "tự cải thiện" thực sự có nghĩa là gì
Nhiều người nghe đến "tác nhân tự cải thiện" và tưởng tượng ra một hệ thống kỳ diệu có thể tự đào tạo lại hoặc tiến hóa thành một thứ gì đó tự động và bí ẩn.
Đó không phải là định nghĩa hữu ích.
Một tác nhân tự cải thiện thường đơn giản hơn nhiều.
Đó là một tác nhân có thể sử dụng các tín hiệu từ những lần thử trước để đưa ra quyết định tốt hơn ở lần thử tiếp theo.
Điều đó có thể xảy ra thông qua:
- thử lại với ngữ cảnh tốt hơn
- sửa đổi dựa trên đánh giá
- ghi nhớ những thất bại trước đó
- sửa lỗi sử dụng công cụ
- chấm điểm đầu ra
- vòng phản hồi của con người
- cập nhật quy tắc
- lưu trữ các mẫu thành công
Nói cách khác:
tự cải thiện thường không phải là sự tiến hóa của mô hình. Đó là sự tiến hóa của vòng lặp.
Mô hình cơ sở có thể giữ nguyên.
Điều được cải thiện là hành vi của hệ thống xung quanh mô hình.
Đó là một khuôn khổ thực tế và thân thiện với kỹ thuật hơn nhiều.
Tại sao hầu hết các tác nhân không tự cải thiện
Một số lượng đáng ngạc nhiên các tác nhân thực sự không được thiết kế để cải thiện.
Chúng được thiết kế để tiếp tục.
Đó không phải là điều giống nhau.
Nhiều hệ thống tác nhân ngày nay về cơ bản là:
- đọc nhiệm vụ
- suy nghĩ
- gọi công cụ
- tiếp tục cho đến khi bị dừng lại
Vấn đề là cấu trúc này thường thiếu:
- tiêu chí thành công rõ ràng
- phân loại thất bại
- thử lại có nhận biết trạng thái
- ghi nhớ những gì đã thất bại
- so sánh giữa các lần thử
- đánh giá đầu ra
- quy tắc chuyển tiếp
Vì vậy, tác nhân không cải thiện.
Nó chỉ lặp đi lặp lại.
Đó là sự khác biệt giữa lặp thô và lặp thông minh.
Kỹ thuật vòng lặp là thứ tạo ra sự khác biệt đó.
Kỹ thuật vòng lặp là lớp kiến trúc thực sự
Cách dễ nhất để hiểu kỹ thuật vòng lặp là:
Prompt bảo mô hình phải làm gì.
Kỹ thuật vòng lặp bảo hệ thống cách hành xử sau khi nó thử.
Điều đó bao gồm các câu hỏi như:
- Tác nhân nên làm gì sau một lần gọi công cụ thất bại?
- Khi nào nó nên thử lại so với chuyển đổi chiến lược?
- Cho phép bao nhiêu lần thử?
- Nên lưu trữ gì trong bộ nhớ?
- Nên đánh giá tự động những gì?
- Khi nào con người nên tiếp quản?
- Điều gì được coi là cải thiện?
Đây là lý do tại sao kỹ thuật vòng lặp thuộc về cuộc thảo luận về kiến trúc, không chỉ là cuộc thảo luận về prompt.
Vòng lặp cốt lõi đằng sau các tác nhân tự cải thiện

Hầu hết các tác nhân tự cải thiện hữu ích đều tuân theo một cấu trúc lặp đi lặp lại trông giống như thế này
1Mục tiêu2 ↓3Lập kế hoạch4 ↓5Hành động6 ↓7Quan sát kết quả8 ↓9Đánh giá chất lượng10 ↓11Lưu trữ tín hiệu12 ↓13Thử lại / Sửa đổi / Chuyển tiếp / Hoàn tất
Đó là nền tảng.
Hệ thống cải thiện khi mỗi lần đi qua vòng lặp thay đổi quyết định tiếp theo theo một cách hữu ích.
Không phải tác nhân nào cũng cần một phiên bản phức tạp.
Nhưng mọi tác nhân đáng tin cậy đều cần một phiên bản nào đó của điều này.
Sự khác biệt giữa tác nhân ngây thơ và tác nhân được kỹ thuật vòng lặp
Khía cạnh
Tác nhân ngây thơ
Tác nhân được kỹ thuật vòng lặp
Xử lý nhiệm vụ
thử nhiệm vụ một lần hoặc tiếp tục một cách mù quáng
làm việc thông qua các chu kỳ có giới hạn
Phản hồi lỗi
thử lại ngẫu nhiên hoặc thất bại nặng nề
thử lại dựa trên phân loại thất bại
Bộ nhớ
ít hoặc không có trạng thái hữu ích
lưu trữ ngữ cảnh có thể hành động
Đánh giá
cho rằng hoàn thành là thành công
kiểm tra đầu ra dựa trên tiêu chí
Cải thiện
tình cờ
được thiết kế
Vai trò con người
chỉ dự phòng khẩn cấp
điểm chuyển tiếp có chủ đích
Độ tin cậy
không nhất quán
mạnh dần lên theo thời gian
Đây là sự thay đổi.
Tác nhân được kỹ thuật vòng lặp không nhất thiết là "thông minh hơn" ở cấp độ mô hình.
Nó chỉ đang hoạt động bên trong một hệ thống tốt hơn.
Năm khối xây dựng của các tác nhân tự cải thiện

Nếu bạn muốn một tác nhân cải thiện, bạn cần một vòng lặp có cấu trúc.
Năm khối xây dựng này là quan trọng nhất.
- Tiêu chí thành công rõ ràng
Nếu hệ thống không biết "tốt" trông như thế nào, nó không thể cải thiện theo hướng đó.
Tiêu chí thành công có thể là:
- định dạng đầu ra chính xác
- ngưỡng chính xác
- yêu cầu câu trả lời có căn cứ
- tín hiệu hoàn thành công cụ
- kết quả kiểm tra đạt
- sự chấp thuận của con người
- điểm số cụ thể cho nhiệm vụ
Nếu không có điều này, tác nhân không có gì ổn định để tối ưu hóa xung quanh.
- Lớp đánh giá
Lớp đánh giá là thứ cho tác nhân biết liệu nỗ lực của nó có hiệu quả hay không.
Điều này có thể là:
- kiểm tra dựa trên quy tắc
- xác thực lược đồ
- kiểm thử đơn vị
- chấm điểm LLM-as-judge
- kiểm tra căn cứ truy xuất
- xác thực logic kinh doanh
- đánh giá của con người
Đây là sự khác biệt giữa "nó đã tạo ra một câu trả lời" và "nó đã tạo ra một câu trả lời hữu ích."
- Bộ nhớ phản hồi
Tự cải thiện đòi hỏi trí nhớ, nhưng không chỉ là lịch sử thô.
Tác nhân cần bộ nhớ có thể sử dụng được.
Bộ nhớ phản hồi tốt bao gồm những thứ như:
- lý do thất bại cuối cùng
- lỗi công cụ trước đó
- đường dẫn thành công đã biết tốt nhất
- chiến lược xấu đã biết cần tránh
- sở thích hoặc sự điều chỉnh của người dùng
- tóm tắt nén của các lần thử trước
Không phải tất cả ngữ cảnh nên tồn tại.
Chỉ ngữ cảnh giúp ích cho quyết định tiếp theo.
- Sửa đổi chiến lược
Sau khi đánh giá, tác nhân phải quyết định những gì cần thay đổi.
Điều đó có thể bao gồm:
- thử một công cụ mới
- thu hẹp nhiệm vụ
- đặt một câu hỏi làm rõ
- truy xuất thêm thông tin
- chuyển từ hành động sang giải thích
- chuyển tiếp cho con người
Đây là nơi hệ thống thực sự trở nên thích ứng.
- Ranh giới và điều kiện dừng
Một tác nhân tự cải thiện vẫn cần sự kiểm soát.
Nếu không, bạn không nhận được sự cải thiện.
Bạn nhận được sự hỗn loạn.
Đặt giới hạn cho:
- số lần thử lại
- chi phí
- độ trễ
- hành động phá hoại
- ngưỡng phê duyệt của con người
- quy tắc từ bỏ nhiệm vụ
Một vòng lặp có giới hạn có giá trị hơn một vòng lặp không bị ràng buộc.
Kỹ thuật vòng lặp trông như thế nào trong thực tế

Đây là một mẫu đơn giản hoạt động tốt cho nhiều tác nhân.
Vòng lặp 1: thử
Tác nhân thử nhiệm vụ với ngữ cảnh hiện tại.
Vòng lặp 2: đánh giá
Một kiểm tra chạy.
Ví dụ:
- lược đồ có xác thực không?
- mã có vượt qua kiểm tra không?
- câu trả lời có trích dẫn nguồn bắt buộc không?
- công cụ có trả về đúng trường không?
Vòng lặp 3: chẩn đoán
Nếu nó thất bại, hãy phân loại lý do.
Ví dụ:
- thiếu ngữ cảnh
- đối số công cụ sai
- lỗi truy xuất
- giả định ảo giác
- đầu ra không đầy đủ
- xung đột chính sách
Vòng lặp 4: thích ứng
Thay đổi lần thử tiếp theo.
Ví dụ:
- truy xuất thêm ngữ cảnh
- viết lại nhiệm vụ một cách hẹp hơn
- thử một công cụ khác
- thêm quy tắc xác thực
- hỏi người dùng chi tiết còn thiếu
Vòng lặp 5: lưu trữ tín hiệu hữu ích
Chỉ lưu những gì giúp ích cho các lần chạy trong tương lai.
Sau đó lặp lại.
Đó là kỹ thuật vòng lặp trong các thuật ngữ hoạt động.
Một sơ đồ thực tế cho các tác nhân được kỹ thuật vòng lặp

1Mục tiêu Người dùng2 ↓3Trình thông dịch Nhiệm vụ4 ↓5Trình lập kế hoạch6 ↓7Lớp Công cụ / Hành động8 ↓9Kết quả10 ↓11Trình đánh giá12 ├── đạt → hoàn tất13 ├── thất bại: thiếu ngữ cảnh → truy xuất thêm14 ├── thất bại: sử dụng công cụ sai → sửa đổi hành động15 ├── thất bại: độ tin cậy thấp → chuyển tiếp16 └── thất bại: có thể phục hồi → thử lại với bộ nhớ
Đây là nơi chất lượng tác nhân trở nên có hệ thống thay vì tình cờ.
Các tín hiệu tự cải thiện nên đến từ đâu
Đây là một trong những câu hỏi thiết kế quan trọng nhất.
Nếu bạn đưa tín hiệu sai vào vòng lặp, tác nhân có thể tối ưu hóa theo hướng sai.
Các nguồn tín hiệu cải thiện mạnh mẽ bao gồm:
Tín hiệu xác định
- kiểm tra đạt hoặc thất bại
- lược đồ xác thực hoặc thất bại
- trạng thái API là thành công hoặc lỗi
- đầu ra chứa các trường bắt buộc hoặc không
- quy tắc chính sách được thỏa mãn hoặc vi phạm
Tín hiệu quy trình làm việc
- số lần thử lại
- độ trễ công cụ
- bước xảy ra lỗi
- ngưỡng tin cậy bị vượt qua
- tần suất chuyển tiếp
Tín hiệu con người
- thích / không thích
- đầu ra đã được sửa
- bản nháp được chấp nhận so với bị từ chối
- các mẫu ghi đè thủ công
- ghi chú của người đánh giá
Tín hiệu so sánh
- chất lượng đầu ra phiên bản A so với phiên bản B
- so sánh biến thể truy xuất
- so sánh đường dẫn công cụ
- cải thiện điểm số qua các lần chạy lặp lại
Các tác nhân tự cải thiện tốt nhất thường kết hợp ít nhất hai trong số các danh mục này.
Các vòng lặp tốt nhất cải thiện quy trình làm việc, không chỉ phản hồi
Đây là nơi thiết kế trở nên trưởng thành hơn.
Một triển khai yếu sử dụng vòng lặp chỉ để tạo lại văn bản.
Một triển khai mạnh mẽ hơn sử dụng vòng lặp để cải thiện toàn bộ quy trình làm việc.
Điều đó có nghĩa là tác nhân có thể cải thiện bằng cách thay đổi:
- những gì nó truy xuất
- những công cụ nó sử dụng
- thứ tự các bước
- những gì nó ghi nhớ
- những gì nó bỏ qua
- liệu nó có yêu cầu làm rõ sớm hơn không
- liệu nó có dừng lại sớm hơn không
Điều này mạnh mẽ hơn nhiều so với "viết lại câu trả lời một lần nữa."
Hệ thống trở nên tự sửa lỗi ở cấp độ quy trình.
Các mẫu prompt hỗ trợ tự cải thiện

Prompt vẫn quan trọng.
Nó chỉ cần hỗ trợ vòng lặp.
Dưới đây là các mẫu prompt hữu ích.
Prompt 1: Prompt hành động có nhận biết đánh giá
1Bạn đang thực hiện một nhiệm vụ trong một quy trình làm việc có giới hạn.2Mục tiêu của bạn không chỉ là tạo ra một câu trả lời, mà là tạo ra một câu trả lời sẽ vượt qua đánh giá.3Nếu thiếu thông tin, hãy yêu cầu hoặc truy xuất nó.4Nếu kết quả không chắc chắn, đừng hoàn tất một cách tự tin.5Nếu một lần thử trước đó thất bại, tránh lặp lại cùng một chiến lược trừ khi ngữ cảnh đã thay đổi.
Prompt 2: Prompt chẩn đoán thất bại
1Lần thử trước đã thất bại.2Phân loại lý do thất bại có thể xảy ra vào một trong các danh mục sau:3- thiếu ngữ cảnh4- sử dụng sai công cụ5- giả định sai6- đầu ra không đầy đủ7- lỗi định dạng hoặc lược đồ8- xung đột chính sách9Sau đó đề xuất thay đổi nhỏ nhất tiếp theo giúp tăng cơ hội thành công.
Prompt 3: Prompt sửa đổi
1Sửa đổi lần thử tiếp theo bằng cách sử dụng phản hồi của trình đánh giá bên dưới.2Đừng lặp lại cùng một đường dẫn suy luận nếu nó đã thất bại.3Ưu tiên một giải pháp hẹp hơn, có căn cứ hơn.4Nếu cần, hãy truy xuất thêm ngữ cảnh trước khi trả lời.
Prompt 4: Prompt tóm tắt bộ nhớ
1Tóm tắt lần thử cuối cùng thành một khối bộ nhớ ngắn cho lần chạy tiếp theo.2Chỉ bao gồm:3- những gì đã thất bại4- những gì đã hiệu quả5- những gì nên tránh6- những gì nên thử tiếp theo7Giữ dưới 120 từ.
Đây không phải là những prompt thần kỳ.
Chúng là những prompt được thiết kế để củng cố hành vi vòng lặp.
Một kiến trúc vòng lặp kiểu Python đơn giản
Dưới đây là một ví dụ đơn giản về kỹ thuật vòng lặp có thể trông như thế nào trong mã
1MAX_ATTEMPTS = 423memory = []45for attempt in range(MAX_ATTEMPTS):6 context = build_context(task=task, memory=memory)7 plan = agent.plan(context)8 result = agent.act(plan)910 evaluation = evaluator.check(task=task, result=result)1112 if evaluation.passed:13 return {14 "status": "success",15 "result": result,16 "attempt": attempt + 1,17 }1819 failure_summary = agent.summarize_failure(20 result=result,21 evaluation=evaluation,22 )2324 memory.append({25 "attempt": attempt + 1,26 "failure": failure_summary,27 "suggested_fix": evaluation.next_step,28 })2930 if evaluation.requires_human:31 return {32 "status": "escalated",33 "reason": evaluation.reason,34 "attempt": attempt + 1,35 "memory": memory,36 }3738return {39 "status": "failed",40 "reason": "max_attempts_reached",41 "memory": memory,42}
Điều này cố tình đơn giản.
Điểm quan trọng không phải là bản thân mã.
Đó là cấu trúc:
- thử
- đánh giá
- lưu trữ tín hiệu
- thích ứng
- thử lại hoặc chuyển tiếp
Đó là mẫu cần nội hóa.
Kỹ thuật vòng lặp quan trọng nhất ở đâu
Cách tiếp cận này đặc biệt có giá trị trong các quy trình làm việc mà thành công không được đảm bảo ở lần thử đầu tiên.
Tác nhân viết mã
Hoàn hảo cho các vòng lặp vì hệ thống có thể:
- chạy kiểm tra
- kiểm tra lỗi
- sửa đổi mã
- so sánh đầu ra
- dừng lại chỉ khi xác minh vượt qua
Tác nhân hỗ trợ
Hữu ích vì hệ thống có thể:
- truy xuất ngữ cảnh chính sách
- soạn thảo phản hồi
- kiểm tra căn cứ
- yêu cầu phê duyệt nếu rủi ro cao
Tác nhân nghiên cứu
Hữu ích vì hệ thống có thể:
- thu thập nhiều nguồn
- xác định khoảng trống
- tìm kiếm lại
- tổng hợp chỉ khi có đủ bằng chứng
Tác nhân trích xuất tài liệu
Hữu ích vì hệ thống có thể:
- phân tích cú pháp tệp
- xác thực lược đồ
- thử lại các trường không rõ ràng
- chuyển tiếp các trường hợp có độ tin cậy thấp
Tác nhân quy trình làm việc vận hành
Có giá trị vì hệ thống có thể:
- gọi API
- kiểm tra kết quả
- phục hồi sau lỗi một phần
- chuyển các ngoại lệ cho con người
Trong tất cả các trường hợp này, chất lượng vòng lặp quan trọng hơn chất lượng tạo một lần.
Những sai lầm phổ biến trong kỹ thuật vòng lặp
Sai lầm 1: coi thử lại là cải thiện
Nhiều lần thử hơn không tự động có nghĩa là học hỏi tốt hơn.
Nếu hệ thống lặp lại cùng một hành vi, nó không cải thiện.
Nó chỉ đang lặp đi lặp lại.
Sai lầm 2: lưu trữ quá nhiều bộ nhớ
Không phải tất cả quá khứ đều hữu ích.
Quá nhiều bộ nhớ có thể làm ô nhiễm lần thử tiếp theo.
Lưu trữ các bài học nén, có thể hành động—không phải đống bản ghi thô.
Sai lầm 3: bỏ qua đánh giá
Nếu không có kiểm tra, tác nhân không thể biết liệu nó có trở nên tốt hơn hay không.
Đây là lỗi cấu trúc phổ biến nhất.
Sai lầm 4: không có điều kiện dừng
Một tác nhân không bị ràng buộc không phải là tiên tiến.
Nó rất tốn kém.
Sai lầm 5: bỏ qua phản hồi của con người
Nếu con người liên tục sửa cùng một thứ và vòng lặp không bao giờ sử dụng tín hiệu đó, hệ thống không thực sự cải thiện.
Sai lầm 6: sử dụng một vòng lặp khổng lồ cho mọi nhiệm vụ
Các nhiệm vụ khác nhau cần các vòng lặp khác nhau.
Một tác nhân hỗ trợ và một tác nhân viết mã không nên chia sẻ cùng một logic thử lại hoặc quy tắc đánh giá.
Trình tự xây dựng thực tế tôi khuyên dùng
Nếu bạn đang xây dựng từ đầu, hãy sử dụng thứ tự này.
Bước 1: xác định thành công rõ ràng
Một kết quả tốt trông như thế nào?
Bước 2: xác định các danh mục thất bại
Tại sao tác nhân này thường thất bại?
Bước 3: xây dựng trình đánh giá trước
Làm thế nào hệ thống sẽ biết nó thành công hay thất bại?
Bước 4: thiết kế quy tắc bộ nhớ
Những gì nên tồn tại giữa các lần thử?
Bước 5: xác định chiến lược thử lại
Điều gì thay đổi giữa lần thử một và lần thử hai?
Bước 6: thêm logic chuyển tiếp
Khi nào con người nên can thiệp?
Bước 7: ghi lại mọi thứ quan trọng
Bạn không thể cải thiện những gì bạn không quan sát.
Bước 8: tối ưu hóa chỉ sau khi vòng lặp hoạt động
Đừng làm phức tạp hệ thống trước khi chu kỳ cốt lõi ổn định.
Trình tự đó giúp các nhóm tập trung vào hành vi thay vì cường điệu.
Một danh sách kiểm tra đơn giản trước khi bạn gọi một tác nhân là "tự cải thiện"
Sử dụng điều này như một kiểm tra thực tế.
- Tác nhân có biết thành công trông như thế nào không?
- Nó có đánh giá mỗi lần thử không?
- Nó có lưu trữ các bài học hữu ích từ thất bại không?
- Nó có thay đổi chiến lược dựa trên phản hồi không?
- Nó có tránh lặp lại cùng một đường dẫn thất bại một cách mù quáng không?
- Nó có biết khi nào nên dừng lại không?
- Nó có biết khi nào nên chuyển tiếp cho con người không?
- Bạn có thể đo lường liệu nó có thực sự trở nên tốt hơn không?
Nếu hầu hết những điều này còn thiếu, hệ thống có lẽ không tự cải thiện.
Nó chỉ đang lặp đi lặp lại.
Suy nghĩ cuối cùng
Tương lai của các tác nhân AI không chỉ là những prompt tốt hơn, nhiều công cụ hơn, hay chuỗi dài hơn.
Đó là những vòng lặp tốt hơn.
Đó là những gì kỹ thuật vòng lặp làm cho khả thi.
Nó biến một tác nhân từ một bộ tạo một lần thành một hệ thống có thể:
- quan sát
- đánh giá
- thích ứng
- ghi nhớ
- thử lại một cách thông minh
- cải thiện trong điều kiện thực tế
Đó là những gì tự cải thiện thực sự trông như thế nào trong AI sản xuất.
Không phải bí ẩn.
Không phải ma thuật.
Chỉ là thiết kế hệ thống tốt hơn.
Nếu bạn muốn các tác nhân mạnh mẽ hơn, đừng chỉ hỏi làm thế nào để chúng hành động.
Hãy hỏi làm thế nào để chúng học hỏi từ những gì xảy ra tiếp theo.
Đó là nơi có đòn bẩy thực sự.





