Phương Pháp Luận Đánh Giá, Thiết Kế và An Toàn để "Không Để AI Chỉ Là Một Công Cụ Tiện Lợi"
Nếu bạn chỉ xem Yusuke Narita như một "học giả nói nhiều về AI", bạn đang bỏ lỡ bản chất. Cách tiếp cận AI của ông không nằm trong phạm vi chung của việc cải thiện năng suất, như tạo văn bản với chatbot, tóm tắt cuộc họp, hay viết prompt thành thạo. Thay vào đó, điểm đặc trưng của ông nằm ở việc xem AI như một "thiết bị thực hiện việc ra quyết định" và cùng nhau suy nghĩ về cách thiết kế nó, cách đánh giá nó, và cách triển khai nó một cách an toàn trong xã hội.
Trên trang web chính thức của mình, ông giải thích chuyên môn của mình là "thiết kế kinh doanh và chính sách công bằng dữ liệu, thuật toán và tư duy", và "phát triển các phương pháp để thiết kế các thuật toán ra quyết định xã hội một cách dựa trên dữ liệu". Trong hồ sơ chính thức tại Đại học Yale, trọng tâm nghiên cứu của ông là thiết kế các thuật toán ra quyết định trong chính sách và kinh doanh, sử dụng kết hợp suy luận nhân quả, học máy và ước lượng cấu trúc. Nói cách khác, đối với ông, AI không phải là một ứng dụng độc lập, mà là nền tảng của "trí thông minh thúc đẩy các phán đoán trong thế giới thực" như đề xuất, quảng cáo, tìm kiếm và phân bổ chính sách.
Và cuối cùng, chỉ một điều thôi.
Cách sử dụng được giới thiệu trong bài viết này—"không để AI viết câu trả lời, mà để nó sắp xếp tài liệu để bạn tự phán đoán"—sẽ chỉ là lý thuyết suông nếu bạn chỉ đọc và đồng ý. Nó chỉ trở nên có ý nghĩa khi bạn thực sự áp dụng nó vào công việc của chính mình.
Vì vậy, tôi đã chuẩn bị một bộ công cụ thực hành miễn phí để bạn có thể đưa cách suy nghĩ này trực tiếp vào hoạt động của riêng mình.
Bạn có thể nhận được những thứ sau:
Bạn không cần tham gia các buổi tư vấn hay hội thảo miễn phí. Bạn có thể nhận trực tiếp sau khi thêm LINE.
Nhận tại đây:
Bây giờ, chúng ta bắt đầu.
1. Cốt Lõi của Việc Sử Dụng AI Theo Phong Cách Narita Là "Phán Đoán Phán Đoán của AI" Thay Vì "Hỏi AI"
Nhiều người sử dụng AI như một phiên bản cao cấp của công cụ tìm kiếm hoặc như một nơi thuê ngoài để viết lách. Tất nhiên, bản thân điều đó cũng hiệu quả, nhưng cách tiếp cận AI theo phong cách Narita nằm ngoài phạm vi đó. Trong suy nghĩ của ông, AI không chỉ trả lời câu hỏi; nó thực hiện chính việc "ra quyết định", chẳng hạn như nên đề xuất sản phẩm nào, hiển thị quảng cáo nào và phân phát phiếu giảm giá nào. Và điều quan trọng không phải là để mặc cho phán đoán đó không được kiểm soát, mà là thiết kế nó sao cho luôn có thể được chấm điểm sau đó.
Sự thật được Narita chỉ ra: AI không phải là một "hộp trả lời" mà là một "chủ thể đưa ra phán đoán"
Trong một bài báo đồng tác giả của Narita, có nêu rằng "các thuật toán đang ngày càng đảm nhận nhiều việc ra quyết định trong chính sách và kinh doanh." Kỹ thuật sử dụng đầu tiên có thể thấy từ đây là coi AI không phải là một "hộp trả về câu trả lời" mà là một "chủ thể đưa ra phán đoán", và trước tiên hãy tạo ra một hệ thống để đo lường chất lượng của phán đoán đó. Nếu bạn chỉ sử dụng AI để rút ngắn email, lợi thế cạnh tranh sẽ rất nhỏ. Tuy nhiên, nếu bạn tạo ra một cấu trúc nơi bạn ủy thác việc ra quyết định cho AI, xác minh chất lượng của phán đoán đó bằng dữ liệu và cải thiện nó đồng thời ngăn chặn sự suy giảm, AI sẽ không chỉ là một công cụ hiệu quả mà còn là một động cơ phán đoán cho doanh nghiệp.
Ứng dụng cho cá nhân và doanh nghiệp
Nếu bạn thay thế cách suy nghĩ này cho cá nhân hoặc doanh nghiệp, nó sẽ trở nên như thế này. Trước khi để AI làm điều gì đó, hãy quyết định "phán đoán này nhằm cải thiện điều gì?" và "làm thế nào chúng ta sẽ đo lường sau đó xem phán đoán đó có tốt hay không?" Đối với bán hàng, đừng chỉ tạo đề xuất; hãy đặt ra phán đoán về việc nên đưa đề xuất nào cho khách hàng nào và việc xác minh tỷ lệ chốt đó như một bộ. Đối với thương mại điện tử, đừng chỉ mô tả sản phẩm; hãy chấm điểm phán đoán về việc nên hiển thị sản phẩm nào cho ai, bao gồm không chỉ tỷ lệ mua hàng mà còn cả hiệu quả tồn kho. Phong cách Narita là ý tưởng thiết kế "hệ thống phán đoán" thay vì "câu trả lời" của AI.
2. Quyết Định Việc Sử Dụng AI Với "Đánh Giá Trước Tiên"
Phần nhất quán nhất trong cách suy nghĩ của Narita là ý tưởng đánh giá trước tiên. Trong các bài báo đồng tác giả của mình, ông chỉ ra rằng mặc dù các thử nghiệm A/B rất đáng tin cậy, nhưng chúng tốn thời gian và tiền bạc và tiềm ẩn rủi ro thất bại. Do đó, ông liên tục lập luận rằng thay vì thử nghiệm nó trong sản xuất một cách đột ngột, trước tiên bạn nên ước lượng "điều gì sẽ xảy ra nếu bạn đã làm khác đi" từ dữ liệu nhật ký trong quá khứ.
Đánh giá trước tiên là gì?
Đánh giá trước tiên trong việc sử dụng AI không phải là "giới thiệu AI vì nó đang hot". Trước tiên, bạn quyết định "làm thế nào để đo lường xem phán đoán của AI này có tốt hay không" từ trước.
Ví dụ, hãy xem xét công việc AI hóa hỗ trợ khách hàng. Bề ngoài, đó là một "công việc tự động tạo câu trả lời", nhưng khi phân tích với đánh giá trước tiên, việc thiết kế được đặt lên hàng đầu: điều gì được coi là một câu trả lời tốt (tỷ lệ giải quyết, sự hài lòng, hay thời gian phản hồi?), dữ liệu nào sẽ được sử dụng để đo lường nó, và làm thế nào bạn sẽ nhận thấy khi nó suy giảm?
Ứng dụng cho cá nhân và doanh nghiệp
Việc sử dụng AI theo phong cách Narita rất sắc bén trong sự tách biệt này. Thay vì ném mọi thứ vào AI, trước tiên bạn xác định "thế nào là một phán đoán tốt", chuẩn bị một thước đo để đo lường nó, và sau đó mới kích hoạt AI lần đầu tiên. Trước khi nghĩ về việc nên để AI làm gì, bạn hãy đặt câu hỏi bạn thực sự muốn cải thiện điều gì. Đây là giới thiệu AI theo kiểu đánh giá trước tiên.
3. "Chấm Điểm Bằng Dữ Liệu Quá Khứ Trước Khi Đưa Vào Sản Xuất" = Ý Tưởng về Đánh Giá Phản Thực Tế
Cốt lõi trong nghiên cứu của Narita là một công nghệ gọi là Đánh Giá Chính Sách Ngoại Tuyến (Off-Policy Evaluation - OPE). Đó là một từ khó, nhưng nội dung thì đơn giản: "chấm điểm các biện pháp chưa được thực hiện từ dữ liệu nhật ký trong quá khứ trước."
Tại sao "đột ngột đưa vào sản xuất" lại nguy hiểm?
Cách suy nghĩ này có thể được sử dụng trực tiếp cho việc sử dụng AI. Nhiều tổ chức thất bại vì họ đột ngột chạy các phương pháp mới mà họ nghĩ ra trong sản xuất. Sẽ ổn nếu nó hoạt động, nhưng nếu nó sai, nó sẽ làm xấu đi phản hồi của khách hàng và mất thời gian và chi phí.
Ứng dụng cho cá nhân và doanh nghiệp
Nếu bạn suy nghĩ theo phong cách Narita, thứ tự giới thiệu AI sẽ như thế này. Đầu tiên, nếu bạn nghĩ ra một prompt hoặc chính sách mới, đừng vội đưa tất cả vào sản xuất. Tiếp theo, sử dụng nhật ký của các trường hợp tương tự trong quá khứ để ước lượng "điều gì sẽ xảy ra nếu đó là phương pháp mới đó." Sau đó, chỉ những phương pháp đã được xác nhận là không làm suy giảm rõ ràng mới được đưa vào sản xuất từng chút một.
AI rất mạnh mẽ, nhưng nếu bạn đưa nó vào sản xuất mà không xác minh, sự thất bại sẽ ảnh hưởng trực tiếp đến người dùng. Ngược lại, nếu bạn xuất ra sau khi đã chấm điểm bằng dữ liệu quá khứ trước, bạn có thể giảm đáng kể tỷ lệ tai nạn. Nói cách khác, điều quan trọng như một giai đoạn tiền đề của việc sử dụng AI không phải là cố gắng hết sức, mà là đọc trước an toàn bằng dữ liệu lịch sử.
4. "Đặt Câu Hỏi Về Chính Thước Đo" = Không Tin Vào Một Số Liệu Duy Nhất
Không thể thiếu trong cách tiếp cận AI theo phong cách Narita là sự hoài nghi đối với chính phương pháp đánh giá. Trong các bài báo đồng tác giả của mình, có một bài nói rằng "phương pháp đánh giá nào là tốt nhất thay đổi tùy theo nhiệm vụ, và không có một phương pháp chiến thắng duy nhất." Do đó, bạn nên chuẩn bị nhiều thước đo và chọn cái phù hợp nhất cho từng tình huống.
Tại sao một số liệu duy nhất lại nguy hiểm?
Điều này cho thấy một trụ cột quan trọng của việc sử dụng AI theo phong cách Narita. Đó là, không chỉ đánh giá kết quả của AI bằng "một con số duy nhất". Trong kinh doanh, thật dễ dàng để nhảy vào một số liệu duy nhất như tỷ lệ nhấp chuột tăng lên hay phản hồi tốt. Nhưng con số đó có thực sự đo lường những gì bạn muốn cải thiện không?
Ứng dụng cho cá nhân và doanh nghiệp
Nếu một cá nhân bắt chước điều này, khi đánh giá kết quả của AI, hãy luôn nhìn nhận nó từ nhiều góc độ. Ví dụ, nếu bạn đo lường chatbot chỉ bằng "tỷ lệ giải quyết", ngay cả khi tỷ lệ giải quyết tăng lên, nếu người dùng cảm thấy nó "lạnh lùng" và rời đi, thì thực ra đó là một thất bại. Vì vậy, hãy xem xét riêng tỷ lệ giải quyết, sự hài lòng, tỷ lệ rời bỏ và thời gian phản hồi.
Việc sử dụng AI theo phong cách Narita đặt câu hỏi liệu thước đo có đúng hay không trước khi so sánh các mô hình. AI sẽ tối ưu hóa theo thước đo bạn đặt ra. Do đó, nếu thước đo sai lệch, AI càng thông minh thì càng chạy sai hướng. Củng cố điều này trước tiên chính là phong cách Narita.
5. Không Trì Hoãn "Các Ràng Buộc Thực Tế Khó Chịu"
Điểm chung trong các nghiên cứu gần đây của Narita là đưa các rắc rối trong thế giới thực vào hệ thống đánh giá ngay từ đầu, chứ không phải là suy nghĩ lại sau. Vấn đề sản phẩm mới và bài viết liên tục tăng lên, vấn đề giới hạn trên về tồn kho và ngân sách phiếu giảm giá, và vấn đề hành vi khác nhau đối với mỗi người dùng. Ông tính đến những ràng buộc này ngay từ đầu.
Tại sao AI được tạo ra theo chủ nghĩa lý tưởng lại bị hỏng trong sản xuất
Điều quan trọng ở đây là việc sử dụng AI không kết thúc với "các điều kiện lý tưởng". Các hoạt động trong thế giới thực luôn có ngân sách, nhân công, điều kiện không được phép và sự đa dạng của người dùng. Ngay cả khi bạn tạo ra một prompt hoạt động tốt trong trạng thái lý tưởng, nó sẽ bị hỏng khi gặp các ràng buộc thực tế.
Ví dụ, giới hạn trên của tồn kho. Nếu bạn chỉ ra lệnh cho AI "hãy tiếp tục đưa ra các sản phẩm có vẻ được phản hồi tốt", các sản phẩm phổ biến sẽ cạn kiệt ngay lập tức và bạn sẽ không thể đưa ra bất cứ thứ gì cho những khách hàng đến sau. Nghiên cứu của Narita tính đến các ràng buộc về nguồn cung như vậy ngay từ đầu và đánh giá bằng cách xem xét "phân bổ cho người dùng trong tương lai" thay vì chỉ "phản ứng tại thời điểm này".
Ứng dụng cho cá nhân và doanh nghiệp
Ý tưởng này cũng có thể được áp dụng cho công việc nói chung. Khi nghĩ về các biện pháp AI, thay vì xây dựng theo chủ nghĩa lý tưởng trước và điều chỉnh sau, hãy đưa "ngân sách có thể sử dụng", "nhân công có thể dành", "những điều không bao giờ được làm" và "phạm vi người dùng mục tiêu" vào như các tiền đề ngay từ đầu. Việc sử dụng AI theo phong cách Narita không trì hoãn các ràng buộc thực tế. AI càng được tạo ra đẹp đẽ, nó càng dễ thất bại trong sản xuất nếu bỏ qua các ràng buộc.
6. Coi AI Không Phải Là "Máy Trả Lời" Mà Là "Máy Tránh Suy Giảm"
Điều thể hiện rõ nghiên cứu của Narita là ý tưởng coi "không làm cho tình hình tồi tệ hơn" như một kết quả. Trong nghiên cứu của mình, có những thứ áp đặt một ràng buộc rằng nó không được giảm xuống dưới chính sách hiện đang vận hành với xác suất cao, và những thứ nới lỏng phanh an toàn từng chút một trong một số lượng giới thiệu nhỏ.
Ý tưởng coi "tránh suy giảm" là một kết quả
Đây là một bước nhảy vọt lớn trong việc sử dụng AI theo phong cách Narita. Nhiều ứng dụng AI chỉ nhìn vào "nó đã tốt hơn bao nhiêu". Nhưng Narita coi "mức độ suy giảm có thể tránh được" là một kết quả quan trọng không kém.
Ứng dụng cho cá nhân và doanh nghiệp
Điều này cũng mang tính gợi ý trong việc sử dụng AI của các công ty. Khi cố gắng cải thiện chất lượng câu trả lời, thay vì đột ngột chuyển mọi thứ sang một phương pháp mới, trước tiên hãy đảm bảo rằng nó không thấp hơn phương pháp hiện tại, và sau đó thử từng chút một. Cụ thể, hãy thử chính sách mới chỉ với 1-5% tổng số, và quyết định một đường dừng như "dừng lại nếu nó suy giảm rõ ràng" từ trước.
Điều tạo nên sự khác biệt trong việc sử dụng AI không chỉ là sự hào nhoáng của tấn công. Đó là bạn có thể mở rộng phạm vi khám phá bao nhiêu trong khi ngăn chặn xác suất suy giảm. Theo cách nói của Narita, chỉ bằng cách thiết kế cải thiện chất lượng AI và ngăn chặn sự chạy trốn, câu trả lời sai và thiên vị trong cùng một bảng cùng một lúc, AI mới có thể phát triển một cách an toàn.
7. Đưa "Đạo Đức" Vào Tính Toán, Không Phải Là Một Ghi Chú
Một đặc điểm trong quan điểm của Narita về AI là cách xử lý đạo đức. Trong khi đạo đức có xu hướng là một "ghi chú được thêm vào cuối" trong nhiều lĩnh vực, thì trong nghiên cứu của Narita, đạo đức được đưa vào vấn đề tối ưu hóa.
Đưa đạo đức vào tối ưu hóa
Ví dụ, trong nghiên cứu về thiết kế thử nghiệm y tế, ông chỉ ra rằng các phương pháp thông thường có vấn đề về đạo đức như chỉ định các phương pháp điều trị được biết là kém hiệu quả hơn hoặc các phương pháp điều trị mà người tham gia không thích. Do đó, ông đưa sở thích của người tham gia và các tác động dự đoán vào tính toán phân bổ ngay từ đầu để cố gắng tăng sự hài lòng của người tham gia.
Ứng dụng cho cá nhân và doanh nghiệp
Nếu bạn kéo điều này trở lại việc sử dụng AI, nó trở thành một câu chuyện thiết yếu. Không phải là "OK nếu độ chính xác cao", mà là "đưa cảm xúc của những người sử dụng nó và chi phí thiệt hại vào đánh giá ngay từ đầu".
Ví dụ, khi đưa ra các đề xuất mới bằng AI. Nếu bạn không đưa ra các ứng viên mới, hệ thống sẽ trì trệ, nhưng nếu bạn đưa ra quá nhiều, bạn sẽ sai và gặp tai nạn. Nghiên cứu của Narita cố gắng thỏa mãn cả "tính mới (tiếp xúc công bằng)" và "an toàn" này cùng một lúc. Nếu bạn chỉ chạy theo hiệu quả, gánh nặng sẽ đổ lên ai đó ở đâu đó. Phong cách Narita đưa chi phí của gánh nặng đó vào tính toán ngay từ đầu. Nó coi đạo đức không phải là một cái phanh mà là một phần của thiết kế.
8. Đánh Giá Chính Người Đánh Giá = Tối Ưu Hóa Siêu Cấp Một Bước
Điều thú vị về nghiên cứu của Narita là trước khi so sánh các mô hình AI, ông đặt ra một giai đoạn để xác minh "liệu bản thân phương pháp so sánh (người đánh giá) có đúng hay không". Trong nghiên cứu của mình, có một phương pháp để tự động chọn phương pháp đánh giá nào là tốt theo nhiệm vụ.
Xác minh "thước đo" trước mô hình
Điều có thể thấy từ đây là quan điểm của Narita về tối ưu hóa hiệu suất cao hơn một bước so với việc tinh chỉnh mô hình. Nhiều người cạnh tranh về "mô hình nào vượt trội hơn", nhưng Narita xác nhận "liệu bản thân thước đo để chấm điểm mô hình có đúng đắn hay không" trước đó.
Ứng dụng cho cá nhân và doanh nghiệp
Nếu một công ty nói chung bắt chước điều này, trước khi so sánh các công cụ AI, họ đặt câu hỏi về tiêu chí so sánh. Ví dụ, khi cố gắng so sánh hai AI bằng "tốc độ phản hồi", trước tiên họ hỏi liệu tốc độ có phải là điều quan trọng nhất trong công việc kinh doanh này hay không. Nếu bạn so sánh với các tiêu chí sai lệch, ngay cả khi bạn áp dụng cái thắng cuộc, nó thực sự sẽ làm suy giảm.
Việc sử dụng AI có vẻ như là một cuộc chiến "chọn mô hình nào", nhưng thực ra nó là một cuộc chiến "chọn theo tiêu chí nào". Nếu bạn học hỏi từ phong cách Narita, bạn nên đo lường tính hợp lệ của thước đo trước khi đo lường hiệu suất của mô hình.
9. Biết Rằng Các Phương Pháp Thông Thường Bị Hỏng Trong "Các Lựa Chọn Lớn"
Trong nghiên cứu của Narita, có một sự công nhận rằng các phương pháp đánh giá thông thường bị hỏng trong các tình huống có rất nhiều lựa chọn (hành động). Ông lập luận rằng trong các tình huống xử lý các lựa chọn lớn như đề xuất và tìm kiếm với quá nhiều ứng viên, và các mô hình ngôn ngữ, việc đánh giá bằng cách sử dụng các đặc trưng và embedding là cần thiết thay vì so sánh tỷ lệ thắng đơn giản.
Tại sao việc đánh giá bị hỏng với một số lượng lớn lựa chọn
Điều này tác động trực tiếp đến việc sử dụng LLM ngày nay. AI tạo sinh có một số lượng lớn các ứng viên đầu ra và các lựa chọn cho các công cụ có thể được sử dụng. Trong tình huống như vậy, nếu bạn chỉ đơn giản so sánh "cái nào tốt hơn, A hay B", bản thân việc so sánh trở nên không ổn định.
Ứng dụng cho cá nhân và doanh nghiệp
Nếu một cá nhân áp dụng điều này, công việc càng có nhiều lựa chọn AI, họ càng tránh so sánh hai lựa chọn một cách thô thiển. Ví dụ, đừng ngay lập tức quyết định "cái nào trong số 10 ứng viên prompt là tốt nhất" với một mẫu nhỏ. Khi có nhiều ứng viên, đừng vội vàng phán đoán và hãy xem xét cẩn thận trong nhiều điều kiện.
Việc sử dụng AI theo phong cách Narita cho rằng việc đánh giá trở nên khó khăn hơn khi số lượng lựa chọn tăng lên. Do đó, trong các tình huống có nhiều ứng viên, họ bám sát vào đánh giá được thiết kế thay vì so sánh đơn giản.
10. Hiểu Tầm Quan Trọng của "Giảm Ma Sát Đầu Vào"
Gốc rễ trong nghiên cứu của Narita là ý tưởng tiếp tục để lại dữ liệu một cách chính xác để liên tục vận hành hệ thống phán đoán. Trong cơ sở hạ tầng dữ liệu mà ông tham gia, các thông tin như lựa chọn nào được đưa ra với xác suất nào được ghi lại để "tại sao kết quả đó lại xảy ra" có thể được chấm điểm công bằng sau đó.
Tiếp tục để lại "một trạng thái có thể kiểm chứng"
Việc sử dụng AI ở đây không chỉ là hiệu quả. Nó là "tiếp tục tạo ra một trạng thái có thể được xác minh sau này mà không cảm thấy khó chịu." Nếu việc xác minh khó chịu, mọi người sẽ ngừng làm điều đó. Đó là lý do tại sao cần một thiết kế hạ thấp rào cản cho việc ghi chép và đánh giá.
Ứng dụng cho cá nhân và doanh nghiệp
Nếu bạn đưa ý tưởng này vào việc sử dụng AI hàng ngày, điều quan trọng là "giảm ma sát của việc xác minh". Việc tự chấm điểm kết quả của AI mỗi lần sẽ không bền vững. Do đó, hãy tạo mẫu cho các prompt bạn thường xuyên sử dụng, quyết định các chỉ số để đo lường kết quả trước và làm cho kết quả tự động được lưu lại. Bạn càng rút ngắn khoảng cách đến việc xác minh, chu kỳ cải thiện AI sẽ càng tiếp tục quay.
Cách tiếp cận AI theo phong cách Narita cuối cùng hướng tới "con người xác định phán đoán tốt, AI thực thi nó, kết quả luôn được ghi lại và được cải thiện trở lại."
11. Sử Dụng Với Ý Thức Khủng Hoảng
Trong quan điểm của Narita về AI, có một cảm giác căng thẳng về việc ủy thác phán đoán cho các thuật toán đồng thời chú ý đến các khả năng. Trong một cuộc đối thoại, ông nói đại ý rằng "tiền" chỉ là một sự biểu diễn một chiều thô thiển về những gì mọi người đã làm trong quá khứ, và nếu có dữ liệu chi tiết hơn, nó có thể được thay thế bằng dữ liệu đó. Ông xem AI và dữ liệu như một nền tảng có thể thay thế các tiêu chí phán đoán của chính xã hội.
Trách nhiệm trở nên mơ hồ khi bạn càng ủy thác phán đoán
Điểm này cũng quan trọng như một kỹ thuật sử dụng AI. Thật nguy hiểm nếu chỉ sử dụng AI vì nó tiện lợi. Bạn càng ủy thác phán đoán cho AI, càng trở nên mơ hồ về trách nhiệm của ai và phán đoán đó được đưa ra dựa trên tiêu chí nào. Rò rỉ thông tin, thông tin sai lệch, thiên vị, vị trí trách nhiệm và sự phụ thuộc quá mức. Nếu bạn ủy thác việc ra quyết định cho AI trong khi bỏ qua những điều này, bạn sẽ mất lòng tin lâu dài để đổi lấy hiệu quả ngắn hạn.
Ứng dụng cho cá nhân và doanh nghiệp
Nếu bạn học hỏi từ phong cách Narita, đừng dừng lại vì sợ AI, mà hãy thiết kế với các rủi ro như một tiền đề. Tạo ra các quy tắc không đưa thông tin bí mật vào. Để lại sự xác nhận của con người cho các phán đoán quan trọng. Để lại nhật ký phán đoán của AI. Xác định phạm vi trách nhiệm khi xảy ra phán đoán sai. Việc sử dụng AI là thiết kế không chỉ chân ga mà còn cả chân phanh.
12. Lặp Lại Việc "Thử Nghiệm Với Giới Thiệu Hạn Chế"
Điều nhất quán trong nghiên cứu của Narita là ý tưởng bắt đầu từ một số lượng nhỏ các giới thiệu hạn chế thay vì một sự chuyển đổi toàn diện. Trong nghiên cứu của mình, dòng chảy không áp dụng một chính sách mới cho toàn bộ một cách đột ngột, mà trước tiên thử nó trong một phần, xem xét kết quả, học lại và mở rộng dần dần xuất hiện nhiều lần.
"Thử nghiệm nhỏ" hoạt động tốt hơn trong thời đại mà việc tạo mẫu nhanh chóng
Trong kỷ nguyên AI, thái độ "thử nghiệm nhỏ" này trở nên quan trọng hơn. Điều này là do chi phí tạo mẫu giảm mạnh nhờ AI, nhưng sự cám dỗ để chạy mà không xác minh cũng trở nên mạnh mẽ hơn. Tài liệu lập kế hoạch, mã, bản sao quảng cáo, báo cáo phân tích. Những thứ từng mất vài ngày giờ đây trở thành bản thảo đầu tiên trong vài phút. Đó là lý do tại sao việc không hài lòng với bản thảo đầu tiên và thử nghiệm nhỏ và xác minh là hiệu quả.
Ứng dụng cho cá nhân và doanh nghiệp
Trong các kỹ thuật sử dụng AI theo phong cách Narita, AI không phải là một "phép màu đưa ra sản phẩm hoàn chỉnh trong một lần". Thay vào đó, nó là một thiết bị để tăng số lần bạn thử nghiệm nhỏ và xác minh. Thử với 1-5%. Xem xét kết quả. Xác nhận sự suy giảm. Quay lại. Cải thiện. Thử lại. Những người có thể tăng tốc an toàn chu kỳ này sẽ nhận được lợi ích của AI. Những người sử dụng AI nhưng không đạt được kết quả đang đặt cược quá nhiều vào một lần giới thiệu toàn diện duy nhất.
13. Phương Pháp Thực Hành Cho Cá Nhân Để Bắt Chước Việc Sử Dụng AI Theo Phong Cách Narita
Bạn không cần phải có nền tảng nghiên cứu đại học hoặc dữ liệu quy mô lớn như Narita. Nếu chỉ là ý tưởng, ngay cả một cá nhân cũng có thể bắt chước nó từ hôm nay.
5 bước bạn có thể thực hiện từ hôm nay
Đầu tiên, trước khi để AI làm điều gì đó, hãy viết trong một câu "tôi muốn cải thiện điều gì?" Mọi người đều bị lạc vì họ bỏ qua bước này. Tiếp theo, hãy quyết định trước "bằng con số nào tôi sẽ đo lường chất lượng đó?" Thứ ba, ngay cả khi bạn nghĩ ra một prompt mới, đừng sử dụng nó cho mọi thứ một cách đột ngột; trước tiên hãy thử nó trong các trường hợp tương tự trong quá khứ hoặc một phần. Thứ tư, đừng đánh giá kết quả bằng một con số duy nhất; hãy nhìn nhận nó từ nhiều góc độ. Thứ năm, hãy chuẩn bị một hệ thống trước nơi bạn có thể nhận thấy và dừng lại khi nó suy giảm.
Nếu bạn tiếp tục dòng chảy này, AI sẽ thay đổi từ một công cụ tiện lợi đơn thuần thành nền tảng phán đoán của riêng bạn, tiếp tục cải thiện mà không bị hỏng.
14. Nếu Một Công Ty Bắt Chước, Hãy Tạo Ra Một "Hệ Thống Phán Đoán" Thay Vì "Độ Chính Xác Câu Trả Lời"
Điểm lớn nhất mà các công ty nên học hỏi từ phong cách Narita là không chỉ tập trung vào việc tăng độ chính xác của các câu trả lời AI. Điều mà nghiên cứu của Narita đã liên tục trau chuốt là hệ thống để "đưa ra phán đoán, chấm điểm nó và cải thiện nó một cách an toàn" thay vì tính đúng đắn của các câu trả lời cá nhân.
"Hệ thống phán đoán" thay vì sự thông minh của mô hình
Trong nhiều công ty, việc giới thiệu AI dừng lại ở việc so sánh "mô hình nào thông minh". Nhưng nếu bạn suy nghĩ theo phong cách Narita, điều quan trọng không phải là sự thông minh của mô hình, mà là liệu có một thiết kế để đánh giá phán đoán đó, ngăn chặn sự suy giảm, tuân theo các ràng buộc thực tế và đưa đạo đức vào hay không. Nếu bạn giới thiệu AI trong khi mục đích và KPI còn mơ hồ, nó sẽ kết thúc như một sự kiện nội bộ sử dụng công nghệ mới nhất.
Văn hóa mà các công ty nên có
Nếu một công ty nghiêm túc về việc sử dụng AI, trước tiên họ cần xác định "điều gì được coi là một phán đoán tốt" như một sự quản lý, tổ chức dữ liệu để đo lường nó, tạo ra một hệ thống để phát hiện suy giảm và có một văn hóa mở rộng từ giới thiệu hạn chế. AI không phải là một chủ đề chỉ dành cho bộ phận hệ thống thông tin. "Hệ thống phán đoán" được đặt ra trong bán hàng, phát triển, sản xuất, pháp lý, nhân sự, tài chính và phản hồi khách hàng. Nói cách khác, việc sử dụng AI là thiết kế của chính việc ra quyết định.
15. Cạm Bẫy của Việc Sử Dụng AI Theo Phong Cách Narita, và Những Điều Nên Nói Thẳng
Tất nhiên, không cần thiết phải ca ngợi phong cách Narita một cách mù quáng. Trong khi thái độ đánh giá, xác minh và an toàn triệt để làm giảm tai nạn, cũng có những tình huống nó làm chậm tốc độ. Nếu bạn thận trọng chấm điểm mọi thứ, có những lúc bạn sẽ không thể di chuyển trong các tình huống mà bạn nên thử nhanh. Điều quan trọng trong việc sử dụng AI không phải là sao chép hời hợt phong cách Narita, mà là kết hợp các nguyên tắc theo môi trường của riêng bạn.
Thành thật mà nói: phần này là "chưa được xác nhận"
Và còn một điều nữa tôi muốn viết một cách thành thật. "Phương pháp phong cách Narita" được giới thiệu trong bài viết này không phải là điều mà chính Narita đã nói, "Đây là cách tôi sử dụng AI." Đó là một "cách thức" được tái tạo với xác suất cao bằng cách đọc kỹ các tài liệu công khai của ông (trang web, CV, bài báo). Các thói quen cá nhân, chẳng hạn như Narita sử dụng LLM nào trong cuộc sống hàng ngày và ông gõ những prompt nào, không thể xác nhận trong thông tin công khai. Vì vậy, tôi sẽ không lấp đầy điều đó bằng trí tưởng tượng và sẽ thành thật để lại nó như "chưa được xác nhận".
Các nguyên tắc vẫn có thể được kết hợp
Ngoài ra, các nguyên tắc để kết hợp là: suy nghĩ với đánh giá trước tiên, chấm điểm bằng dữ liệu quá khứ trước khi sản xuất, đặt câu hỏi về chính thước đo, đưa các ràng buộc thực tế vào ngay từ đầu, coi việc tránh suy giảm như một kết quả và đưa đạo đức vào tính toán. Và không giả vờ không thấy các rủi ro.
Kết Luận: Kỹ Thuật Sử Dụng AI của Yusuke Narita Là "Phát Triển Một Hệ Thống Phán Đoán Tốt Mà Không Làm Hỏng Nó"
Nếu bạn diễn tả cách Yusuke Narita đối diện với AI bằng một từ, thì đó là coi AI không phải là một "máy trả lời" mà là một "thiết bị phán đoán", và tạo ra một hệ thống để chấm điểm phán đoán đó và cải thiện nó mà không làm hỏng nó. Thay vì tìm kiếm những prompt mạnh nhất hay công cụ thần thánh, hãy thiết kế nền tảng cho những gì AI quyết định, cách đo lường xem nó có tốt không, và cách ngăn chặn sự suy giảm.
Tóm tắt các nguyên tắc kiểu Narita
Các nguyên tắc cho điều đó rất rõ ràng. Với phương châm đánh giá trước tiên, hãy xác định điều bạn muốn cải thiện trước. Chấm điểm bằng dữ liệu quá khứ trước khi đưa vào sản xuất. Đừng tin vào một con số duy nhất và hãy nghi ngờ chính thước đo. Đừng trì hoãn các ràng buộc thực tế mà hãy tích hợp chúng ngay từ đầu. Coi việc tránh suy giảm tự nó là một kết quả. Đưa đạo đức vào tính toán thay vì chỉ là một ghi chú. Và hãy thử nghiệm nhỏ từ phạm vi giới hạn rồi mở rộng an toàn.
Điều thực sự tạo nên sự khác biệt trong kỷ nguyên AI không chỉ là "bạn đang sử dụng AI nào". Đó là khả năng bạn có thể đánh giá và tiếp tục cải thiện phán đoán của AI mà không làm hỏng nó đến mức nào. Sức mạnh của Narita nằm ở chỗ anh ấy không chạy theo các câu trả lời của xu hướng AI. Thay vào đó, anh ấy luôn đối diện với việc phát triển hệ thống phán đoán của AI mà không để nó sụp đổ.
Vì vậy, điều chúng ta nên học hỏi không phải là "làm nghiên cứu giống như Narita". Đó là chọn một phán đoán để giao phó cho AI trong công việc của riêng bạn, quyết định tiêu chí để muốn cải thiện nó, và cải thiện nó từng chút một trong khi ngăn chặn suy giảm. Thay vì hài lòng với việc chỉ để AI viết câu, hãy đo lường chất lượng phán đoán của AI và phát triển nó mà không làm hỏng nó. Xu hướng prompt thay đổi trong nửa năm, nhưng cách suy nghĩ ưu tiên đánh giá này sẽ tiếp tục hiệu quả bất kể AI tiến hóa đến đâu.
Đó là điều thực tế nhất có thể học được từ các kỹ thuật sử dụng AI của Yusuke Narita.
