評估、設計與安全的方法論，讓 AI 不只是「便利工具」
如果你只把成田悠輔看作「很會聊 AI 的學者」，那就錯過了他的本質。他面對 AI 的方式，並不在一般生產力提升的範圍內，例如用聊天機器人寫文章、摘要會議、或寫好提示詞。相反，他的特色在於將 AI 視為「執行決策的裝置」，並集體思考如何設計它、如何評估它、以及如何安全地將其導入社會。
在他的官方網站上，他將自己的專業解釋為「運用數據、演算法與思想來設計商業與公共政策」，以及「開發以數據驅動方式設計社會決策演算法的方法」。在耶魯大學的官方介紹中，他研究的核心是結合因果推論、機器學習與結構估計，來設計政策與商業中的決策演算法。換句話說，對他而言，AI 不是一個獨立應用程式，而是驅動推薦、廣告、搜尋與政策分配等「真實世界判斷的智慧」基礎。
最後，還有一件事。
這篇文章中介紹的使用方式——「不是讓 AI 寫答案，而是讓它整理材料供你判斷」——如果你只是讀過並贊同，明天就會回到原本的使用方式。唯有當你真正在自己的工作中執行它，它才會變得有意義。
因此，我準備了一份免費的實用工具包，讓你可以將這種思考方式直接導入自己的作業流程。
你可以獲得以下內容：
你不需要參加免費諮詢或研討會，加入 LINE 後即可直接領取。
由此取得：
現在，我們開始吧。
1. 成田式 AI 應用的核心是「判斷 AI 的判斷」，而非「向 AI 提問」
許多人將 AI 視為優化版的搜尋引擎，或寫作的委外對象。當然，這本身是有效的，但成田式面對 AI 的方式更進一步。在他的思考中，AI 不只是回答問題，而是執行「決策」本身，例如推薦哪些產品、顯示哪些廣告、發放哪些優惠券。而重點在於，不要放任這些判斷不受檢驗，而是要設計成隨時可以事後評分。
成田提出的事實：AI 不是「答案箱」，而是「做出判斷的主體」
在成田合著的論文中提到：「演算法正逐漸承擔政策與商業中的許多決策。」從中看到的第一個應用技巧是：將 AI 視為「做出判斷的主體」，而非「回傳答案的箱子」，並先建立一個衡量該判斷品質的系統。如果你只用 AI 來縮短郵件，競爭優勢很小。但如果你建立一個結構，將決策委託給 AI、用數據驗證判斷品質、並在防止劣化的同時持續改進，那麼 AI 就不再只是效率工具，而是業務的判斷引擎。
應用於個人與公司
如果將這種思考方式套用到個人或公司，就會變成這樣：在讓 AI 做事之前，先決定「這是為了改善什麼判斷？」以及「之後要如何衡量那個判斷是好是壞？」。對銷售而言，不要只是製作提案，而是將「給哪個客戶哪份提案」的判斷，以及「該成交率的驗證」設為一組。對電商而言，不要只是描述產品，而是將「向誰展示哪個產品」的判斷進行評分，不僅考慮購買率，還包括庫存效率。成田式就是設計 AI 的「判斷系統」，而非「答案」。
2. 以「評估優先」決定 AI 的使用方式
成田思考方式中最一致的部分，就是評估優先的想法。在他合著的論文中指出，雖然 A/B 測試可靠，但耗時費力且存在失敗風險。因此，他反覆論證：與其突然在實際環境中嘗試，不如先從過去的日誌數據中估計「如果採用了不同的做法，會發生什麼事」。
什麼是評估優先？
AI 應用中的評估優先，並不是「因為流行所以導入 AI」。而是先決定「如何衡量這個 AI 的判斷是好是壞」。
例如，考慮將客服 AI 化的工作。表面上，這是「自動生成答案的工作」，但用評估優先來拆解，首先設計的是：什麼是好的答案（解決率、滿意度、還是回應時間？）、要用什麼數據來衡量、以及當它惡化時要如何察覺。
應用於個人與公司
成田式 AI 應用在這種區分上非常犀利。不是把所有事情都丟給 AI，而是先定義「什麼是好的判斷」，準備好衡量標準，然後才開始讓 AI 運作。在思考要讓 AI 做什麼之前，先質疑自己到底想改善什麼。這就是評估優先的 AI 導入。
3. 「在實際環境上線前先用過去數據評分」= 反事實評估的概念
成田研究的核心是一項稱為「離線策略評估（Off-Policy Evaluation, OPE）」的技術。這個詞聽起來很難，但內容很簡單：「事先從過去的日誌數據中，為尚未執行的措施評分」。
為什麼「突然上線生產」是危險的？
這種思考方式可以直接應用於 AI 應用。許多組織因為突然將想到的新方法投入實際環境而失敗。如果成功還好，但若失敗，會惡化客戶回應，損失時間與成本。
應用於個人與公司
如果用成田式思考，AI 導入的順序是這樣：首先，如果你想出新的提示詞或策略，不要全部突然投入實際環境。接著，利用類似過去案例的日誌，來估計「如果採用那個新方法會發生什麼事」。然後，只有那些確認不會明顯惡化的，才逐步投入實際環境。
AI 很強大，但若未經驗證就投入生產，失敗會直接影響使用者。反之，如果先用過去數據評分再輸出，就能大幅降低事故率。換句話說，作為 AI 應用的前階段，重要的不是拼命嘗試，而是用歷史數據安全地預先判斷。
4. 「質疑衡量標準本身」= 不相信單一指標
成田式面對 AI 的方式中，不可或缺的是對評估方法本身的懷疑態度。在他合著的論文中，有一篇提到「哪種評估方法最好會因任務而異，沒有單一贏家」。因此，你應該準備多種衡量標準，並針對每種情況選擇最適合的。
為什麼單一指標是危險的？
這顯示了成田式 AI 應用的一個重要支柱：不要只用「單一數字」來判斷 AI 的結果。在商業中，很容易被點擊率上升或反應良好等單一指標吸引。但那個數字真的在衡量你想改善的東西嗎？
應用於個人與公司
如果個人模仿這種做法，在評估 AI 的結果時，一定要從多個角度來看。例如，如果只用「解決率」來衡量聊天機器人，即使解決率上升，但使用者覺得「冷漠」而離開，實際上就是失敗。所以，要分別觀察解決率、滿意度、流失率、回應時間。
成田式 AI 應用在比較模型之前，會先質疑衡量標準是否正確。AI 會朝著你設定的標準優化。因此，如果標準偏了，AI 越聰明就越會往錯誤方向狂奔。先把這個穩固起來，才是成田式。
5. 不要拖延「惱人的現實限制」
成田近期研究的共同點是，從一開始就將現實世界的麻煩納入評估系統，而非事後才考慮。新產品與文章不斷增加的問題、庫存與優惠券預算的上限問題、每個使用者行為不同的問題。他從一開始就將這些限制納入考量。
為什麼用理想主義打造的 AI 會在實際環境中崩潰？
這裡重要的是，AI 應用並非以「理想條件」結束。實際營運總是有預算、工時、NG 條件、使用者多樣性。即使你建立了在理想狀態下運作良好的提示詞，一旦碰到現實限制就會崩潰。
例如，庫存上限。如果你只命令 AI「不斷推出看起來反應好的產品」，熱門產品會瞬間耗盡，後續的客戶就無貨可推。成田的研究從一開始就考慮這種供應限制，並評估「對未來使用者的分配」，而不只是「當下的反應」。
應用於個人與公司
這個想法也可以應用到一般工作。在思考 AI 措施時，不要先建立理想模型再調整，而是從一開始就將「可用預算」、「可投入工時」、「絕對不能做的事」、「目標使用者範圍」作為前提。成田式 AI 應用不會拖延現實限制。AI 做得越漂亮，若忽略限制，在實際環境中就越容易失敗。
6. 將 AI 視為「避免劣化的機器」，而非「回答機器」
最能代表成田研究的，是將「不變差」本身視為結果的想法。在他的研究中，有些方法會以高機率強制不低於當前運行的策略，有些則是在少量導入範圍內逐步放鬆安全煞車。
將「避免劣化」視為成果
這是成田式 AI 應用的一大躍進。許多 AI 應用只關注「變好了多少」。但成田將「避免了多大的劣化」視為同等重要的成果。
應用於個人與公司
這對企業的 AI 應用也很有啟發。當你想改善回答品質時，不要突然全部切換到新方法，而是先保證不低於當前方法，再逐步嘗試。具體來說，只用總量的 1-5% 來嘗試新策略，並事先設定停止線，例如「若明顯惡化就停止」。
AI 應用的差異化不在於攻擊的華麗程度，而在於能在多大程度上在抑制劣化機率的同時擴大探索範圍。用成田的話來說，只有同時將 AI 品質提升與失控、錯誤答案、偏見的抑制放在同一張設計圖上，AI 才能安全成長。
7. 將「倫理」納入計算，而非僅作為備註
成田看待 AI 的一個特色是處理倫理的方式。在許多領域，倫理往往是「最後才加上的備註」，但在成田的研究中，倫理被納入最佳化問題。
將倫理納入最佳化
例如，在關於醫療實驗設計的研究中，他指出傳統方法存在倫理問題，例如分配已知效果較差的治療，或參與者不喜歡的治療。因此，他從一開始就將參與者偏好與預測效果納入分配計算，以提高參與者滿意度。
應用於個人與公司
如果將這拉回 AI 應用，就變成一個必然的故事：不是「準確率高就好」，而是「從一開始就將使用者的感受與損害成本納入評估」。
例如，用 AI 推出新的推薦。如果不推出新候選項，系統會停滯，但推出太多又會出錯而發生事故。成田的研究試圖同時滿足「新穎性（公平曝光）」與「安全性」。如果只追求效率，負擔會轉嫁到某處。成田式從一開始就將這個負擔成本納入計算。他將倫理視為設計的一部分，而非煞車。
8. 評估評估者本身 = 一階段的元最佳化
成田研究有趣的一點是，在比較 AI 模型之前，他先設置一個階段來驗證「比較方法（評估者）本身是否正確」。在他的研究中，有一種方法可以根據任務自動選擇哪種評估方法較好。
在模型之前驗證「衡量標準」
從中可以看到，成田對效能最佳化的觀點比模型調校高一階。許多人競爭「哪個模型較優」，但成田在此之前先確認「用來評分模型的衡量標準本身是否正確」。
應用於個人與公司
如果一般公司模仿這種做法，在比較 AI 工具之前，會先質疑比較的標準。例如，當想用「回應速度」來比較兩個 AI 時，先問速度在這個業務中是否真的是最重要的。如果比較標準偏了，即使採用了勝出的那個，實際上也只會變差。
AI 應用看似是「選擇哪個模型」的戰鬥，但實際上是「根據什麼標準來選擇」的戰鬥。如果學習成田式，你應該在衡量模型效能之前，先衡量衡量標準的有效性。
9. 了解傳統方法在「大量選擇」中會失效
成田的研究認識到，在選擇（行動）非常多的情況下，傳統評估方法會失效。他主張，在處理大量選擇的推薦、搜尋（候選項太多）以及語言模型的情況下，需要基於特徵與嵌入的評估，而非簡單的勝率比較。
為什麼大量選擇會讓評估失效？
這直接觸及當今 LLM 的應用。生成式 AI 有大量的輸出候選項與可用工具選項。在這種情況下，如果簡單比較「A 或 B 哪個比較好」，比較本身就會變得不穩定。
應用於個人與公司
如果個人套用這個概念，當工作涉及大量 AI 選擇時，應避免粗略的二選一比較。例如，不要用小樣本立即決定「10 個提示詞候選項中哪個最好」。當候選項很多時，不要急著下判斷，要在多種條件下仔細觀察。
成田式 AI 應用預設選擇越多，評估越困難。因此，在候選項多的情況下，他們堅持使用設計好的評估，而非簡單比較。
10. 理解「降低輸入摩擦」的重要性
成田研究的根源，是為了持續運作判斷系統而正確地留下數據。在他參與的數據基礎設施中，會記錄哪個選擇以多少機率被提出，以便日後能公平地評估「為什麼會發生那個結果」。
持續留下「可驗證的狀態」
這裡的 AI 應用不僅僅是效率。而是「持續創造一個可以事後驗證、且不覺得麻煩的狀態」。如果驗證很麻煩，人們就會停止做。因此，需要一個能降低記錄與評估門檻的設計。
應用於個人與公司
如果將這個想法導入日常 AI 應用，重點是「降低驗證的摩擦」。每次手動為 AI 結果評分是無法持續的。因此，將常用的提示詞模板化，事先決定衡量結果的指標，並讓結果自動留存。驗證距離越短，AI 改善循環就越能持續轉動。
成田式面對 AI 的方式，最終導向「人類定義好的判斷，AI 執行，結果總是被記錄，然後再次改善」。
11. 帶著危機感使用
在成田的 AI 觀點中，對將判斷委託給演算法既懷抱可能性，也帶著緊張感。在一場對話中，他提到「金錢」只是過去人們所做所為的粗略一維呈現，如果有更詳細的數據，就可以被取代。他將 AI 與數據視為可以取代社會本身判斷標準的基礎。
越是委託判斷，責任就越模糊
這一點作為 AI 應用技巧也很重要。只因為方便就使用 AI 是危險的。越是將判斷委託給 AI，就越難釐清那個判斷是誰的責任、以及根據什麼標準做出的。資訊外洩、錯誤資訊、偏見、責任歸屬、過度依賴。如果忽略這些而將決策委託給 AI，就會用短期效率換取長期信任。
應用於個人與公司
如果從成田式學習，不要因為害怕 AI 而停止，而是要以風險為前提來設計。制定規則不輸入機密資訊。重要判斷保留人工確認。留下 AI 判斷日誌。決定錯誤判斷發生時的責任範圍。AI 應用不僅要設計油門，也要設計煞車。
12. 重複「有限導入嘗試」
成田研究中一貫的想法是，從少量有限的導入開始，而非全面切換。在他的研究中，反覆出現這樣的流程：不突然將新策略套用到整體，而是先在一部分嘗試、觀察結果、重新學習、再逐步擴大。
在原型製作快速的時代，「小規模嘗試」更有效
在 AI 時代，這種「小規模嘗試」的態度變得更加重要。因為 AI 大幅降低了原型製作的成本，但未經驗證就運行的誘惑也變得更強。企劃文件、程式碼、廣告文案、分析報告。過去需要好幾天的事情，現在幾分鐘就能產生初稿。因此，不要感激初稿，而是小規模嘗試並驗證。
應用於個人與公司
在成田式 AI 應用技巧中，AI 不是「一次就能產出成品的魔法」。相反，它是增加小規模嘗試與驗證次數的裝置。先用 1-5% 嘗試。觀察結果。確認劣化。返回。改善。再試。能夠安全加速這個循環的人，將獲得 AI 的益處。使用 AI 但沒有成果的人，是因為一次就賭上全面導入。
13. 個人模仿成田式 AI 應用的實戰方法
你不必像成田那樣擁有大學研究基礎或大規模數據。只要掌握這個概念，即使是個人也能從今天開始模仿。
今天就能開始的 5 個步驟
首先，在讓 AI 做事之前，用一句話寫下「我想改善什麼？」。大家都因為跳過這一步而迷失。其次，事先決定「我要用什麼數字來衡量那個品質？」。第三，即使想到新的提示詞，也不要突然全部使用，先試用於類似的過去案例或一部分。第四，不要只用單一數字判斷結果，要從多個角度觀察。第五，事先準備好當惡化時能察覺並停止的系統。
如果你持續這個流程，AI 將從單純的便利工具，轉變為持續改善、不故障的個人判斷基礎。
14. 如果公司模仿，要建立「判斷系統」而非「答案準確度」
公司從成田式學到的最重要一點，不是只專注於提高 AI 答案的準確度。成田研究一直以來精煉的，是「做出判斷、為其評分、安全地改善」的系統，而非個別答案的正確性。
「判斷系統」而非模型智慧
在許多公司中，AI 導入停留在「哪個模型比較聰明」的比較。但若用成田式思考，重要的不是模型的聰明程度，而是是否有設計來評估該判斷、防止劣化、遵循現實限制、並納入倫理。如果目的與 KPI 模糊就導入 AI，最終只會成為使用最新技術的內部活動。
公司應有的文化
如果公司認真要使用 AI，首先需要管理階層定義「什麼是好的判斷」，整理用來衡量它的數據，建立偵測劣化的系統，並擁有從有限導入開始擴大的文化。AI 不只是資訊系統部門的主題。在銷售、開發、製造、法務、人事、財務、客戶回應中，「判斷系統」都會受到質疑。換句話說，AI 應用就是決策本身的設計。
15. 成田式 AI 應用的陷阱，以及必須誠實說的話
當然，沒有必要全盤讚揚成田式。雖然徹底評估、驗證、安全的態度能減少事故，但也有可能在某些情況下拖慢速度。如果你謹慎地為每件事評分，有時在應該快速嘗試的場合就無法行動。AI 應用中重要的不是表面模仿成田式，而是根據自己的環境融入其原則。
老實說：這部分是「未經確認」
還有一件事我想誠實寫出來。這篇文章中介紹的「成田式方法」，並非成田本人說過「這就是我使用 AI 的方式」。而是透過仔細閱讀他的公開資料（網站、履歷、論文），以高機率重建的「風格」。個人日常習慣，例如成田在日常生活中使用哪個 LLM、輸入什麼提示詞，無法從公開資訊確認。所以，我不會用想像填補，而是誠實地保留為「未經確認」。
仍然可以融入的原則
除此之外，可以融入的原則包括：以評估優先思考、上線前用過去資料評分、質疑衡量標準本身、從一開始就納入現實限制、將避免劣化本身視為成果、將倫理納入計算。以及不要無視風險。
結論：成田悠輔的 AI 應用技巧是「培養一個好的判斷系統，不讓它故障」
如果你用一句話來表達成田悠輔面對 AI 的方式，那就是將 AI 視為「判斷裝置」而非「答錄機」，並建立一套系統來為這個判斷打分，並在不破壞它的前提下加以改進。與其尋找最強大的提示詞或神級工具，不如設計好 AI 決定什麼的基礎、如何衡量這個決定是否正確，以及如何防止品質惡化。
成田式原則摘要
這些原則很明確。以「評估優先」為核心，先定義你想改善什麼。在正式上線前，先用過去的數據進行評分。不要迷信單一數字，並質疑評量標準本身。不要延後處理現實世界的限制，而是從一開始就將其納入考量。將「避免惡化」本身視為一種成果。把倫理融入計算之中，而不是只當作註解。最後，從有限的導入範圍開始小規模嘗試，再安全地擴大規模。
在 AI 時代，真正造成差異的關鍵，不僅僅是「你用的是哪一套 AI」。更重要的是，你能在多大程度上評估 AI 的判斷，並在不破壞它的情況下持續改進。成田的強項在於，他沒有盲目追逐 AI 趨勢的答案。相反地，他始終如一地面對如何讓 AI 的判斷系統成長，同時避免它崩潰。
因此，我們該學的不是「做和成田一樣的研究」。而是要在自己的工作裡，選擇一個判斷交給 AI 來處理，決定你想改善這個判斷的標準，然後在防止惡化的同時，一點一滴地改進它。不要滿足於只是讓 AI 幫忙寫文章，而是要衡量 AI 判斷的品質，並在不破壞它的前提下讓它成長。提示詞的趨勢半年就會改變，但這種「評估優先」的思維方式，無論 AI 如何演進，都將持續有效。
這才是能從成田悠輔的 AI 運用技巧中學到的最實用的一課。
