Một trong những khách hàng của Anthropic đã nhận được 2.740 đơn ứng tuyển cho một vị trí duy nhất trong vòng 24 giờ.
Không có prompt nào bạn viết tay giữ được độ chính xác lâu như vậy.
Người tuyển dụng đọc những CV đó bắt đầu với một prompt yêu cầu "năm năm kinh nghiệm backend, nền tảng startup, Python vững."
Hai ngày sau, họ nhìn vào batch đầu tiên và nhận ra thực ra họ muốn những người có khả năng xây dựng từ con số 0.
Prompt đã sai, và họ thậm chí chưa đọc đến trăm hồ sơ thứ hai.
Các đội ship nhanh nhất đã ngừng viết prompt theo cách đó.
Họ xây dựng hệ thống nơi prompt quan sát những gì người dùng thực sự quyết định và tự viết lại trong nền.
Khi người dùng kịp nhận ra ưu tiên của họ đã thay đổi, prompt đã thay đổi cùng họ rồi.
Cách này hiệu quả ở bất kỳ đâu có con người đưa ra phán đoán và mô hình hỗ trợ.
Tuyển dụng, phân loại hỗ trợ, kiểm duyệt nội dung, review code, chấm điểm giao dịch.
Đây là cách xây dựng một hệ thống như vậy, từng bước một.
Prompt không phải là cấu hình, nó là người học việc
Sự thay đổi trong tư duy của bạn phải đến trước tiên.
Cấu hình là thứ bạn đặt và quên đi.
Người học việc quan sát bạn làm việc, nắm bắt những gì bạn thực sự quan tâm và điều chỉnh.
Prompt của bạn nên là loại thứ hai.
Trong hệ thống Nick Mayhew trình diễn trên sân khấu của Anthropic, người học việc là một file markdown đơn giản.
Họ gọi nó là hồ sơ ứng viên lý tưởng.
Không trọng số, không quy tắc, không lưu đồ. Chỉ là tiếng Anh đơn giản mô tả người mà nhà tuyển dụng đang tìm kiếm.
Mỗi lần nhà tuyển dụng phê duyệt hoặc từ chối một ứng viên, hệ thống sẽ ghi lại.
Mọi nhận xét như "người này không đủ Python" đều được lưu trữ.
Mọi chỉnh sửa thủ công đối với hồ sơ cũng được lưu trữ.
Đống quyết định đó là tín hiệu huấn luyện mà prompt cập nhật dựa trên đó.
Tại sao là 100 quyết định, không phải một
Bản năng đầu tiên là cập nhật prompt sau mỗi hành động. Đừng làm vậy.
Một quyết định là nhiễu. Một lần từ chối đơn lẻ hầu như không cho bạn biết gì về những gì người dùng thực sự muốn. Nó có thể là bất kỳ điều nào sau đây:
- Người dùng đang mệt hoặc mất tập trung
- Đầu vào kỳ lạ theo cách không liên quan đến sở thích thực sự của họ
- Họ bấm nhầm
- Họ xử lý nhanh một trường hợp hiển nhiên
- Họ cố tình kiểm tra hệ thống
Nếu bạn viết lại prompt dựa trên điều đó, bạn sẽ bắt đầu đuổi theo bóng ma.
100 quyết định là tín hiệu.
Bạn có thể thấy một mô hình: người dùng liên tục từ chối các ứng viên không có kinh nghiệm startup.
Đó không phải là tâm trạng, đó là sở thích. Bây giờ bạn mới cập nhật.
Nick đã nói thẳng về điều này trên sân khấu.
Bạn bắt đầu phát hiện các mô hình sau mỗi 100 đến 200 quyết định, không phải sau mỗi cú nhấp chuột.
Khía cạnh chi phí cũng quan trọng không kém.
Chạy một mô hình thông minh trên mọi hành động sẽ đốt cháy ngân sách của bạn trước buổi trưa.
Chạy nó theo batch giúp hệ thống tồn tại trong sản xuất.
Chia hệ thống thành hai lớp, không phải một agent lớn
Sự cám dỗ là tạo ra một agent khổng lồ vừa đánh giá, vừa học, vừa cập nhật cùng lúc.
Nó không mở rộng được và đốt cháy token bạn không có.
Mô hình hiệu quả là hai lớp với các công việc rất khác nhau.
Lớp dưới cùng là bộ đánh giá. Rẻ, nhanh, chạy trên mọi đầu vào.
Trong trường hợp tuyển dụng, đó là Haiku chấm điểm mọi CV dựa trên hồ sơ hiện tại.
Hàng nghìn CV mỗi ngày. Công việc hẹp: nhận đầu vào, nhận prompt hiện tại, trả về một phán đoán có cấu trúc.
Lớp trên cùng là người học việc. Chậm hơn, thông minh hơn, chạy không thường xuyên.
Nó chỉ quan sát các quyết định mà con người đưa ra.
Mỗi batch, nó đặt một câu hỏi: prompt có còn phù hợp với những gì người dùng thực sự đang chọn không?
Nếu không, nó sẽ viết lại.
Hầu hết các đội đều bỏ qua sự phân tách này.
Họ đặt một mô hình tiên tiến vào đường dẫn nóng trên mọi yêu cầu, hóa đơn phình to, hệ thống bị xếp xó.
Tách biệt việc đánh giá khỏi việc học là điều giúp hệ thống tồn tại trong sản xuất.
Viết prompt bằng văn xuôi, không phải bằng quy tắc
Đây là nơi hầu hết các hệ thống tự cải thiện âm thầm chết đi.
Bản năng là viết một cấu hình: 30% trọng số cho số năm kinh nghiệm, 20 cho cấp công ty, 10 cho học vấn, cờ cho từ khóa.
Nó có vẻ chặt chẽ. Nó tạo ra một hệ thống mà mô hình không thể thực sự cập nhật, vì không có gì để cập nhật ngoài con số.
Và con số không thể nắm bắt được lý do tại sao nhà tuyển dụng nói không.
Định dạng hiệu quả là tiếng Anh đơn giản trong markdown.
"Chúng tôi muốn người đã từng đưa sản phẩm từ số 0 lên 1, lý tưởng nhất là tại một startup dưới 50 người."
"Văn hóa kỹ thuật mạnh quan trọng hơn một tech stack cụ thể."
"Cờ đỏ: chỉ từng làm việc tại các công ty lớn hơn một nghìn người."
Đó là một prompt mà người học việc thực sự có thể viết lại.
Nó có thể thêm một câu, bỏ một câu, thắt chặt một cụm từ.
Bạn không thể làm điều đó với một tiêu chí chấm điểm có trọng số.
Vòng phản hồi chính là toàn bộ sản phẩm
Khi bốn phần đó đã vào vị trí, hệ thống sẽ tự động chạy.
Người dùng đưa ra quyết định. Bộ đánh giá chấm điểm dựa trên prompt hiện tại.
Cứ sau 100 quyết định, người học việc đọc đống dữ liệu và viết lại prompt.
Batch đầu vào tiếp theo được đánh giá dựa trên phiên bản mới.
Người dùng không bao giờ phải nghĩ về prompt.
Họ chỉ cần tiếp tục đưa ra những quyết định mà chỉ con người mới có thể đưa ra.
Prompt cập nhật bên dưới họ.
Đó là phần mà hầu hết các đội bỏ lỡ khi họ ship một hệ thống Claude.
Họ coi prompt như một sản phẩm bàn giao mà họ hoàn thành.
Các đội ship nhiều nhất coi nó như một lớp luôn luôn học hỏi.
Hãy xây dựng nó theo cách đó ngay từ ngày đầu và bạn sẽ ngừng dành hàng tuần để tinh chỉnh từ ngữ.
Bạn sẽ dành chúng để ship sản phẩm.
Theo dõi tôi và đăng ký kênh Telegram của tôi:
