目前的主流論述是，開源正在吞噬企業市場。頂尖封閉模型與開源模型之間的能力差距，已縮小到個位數百分比。財富 500 強企業中有三分之一在 Hugging Face 上擁有經過驗證的帳號，中國的實驗室每隔幾週就會推出接近前沿水準的開放權重模型，而推理服務提供商也正在快速發展。
與此同時，在 Decagon，我們目前約 90% 的工作負載是運行在開源模型上，而非 OpenAI 或 Anthropic 的模型。這與大多數高速成長的應用程式公司一致，我們也看到與我們合作的大型企業正朝這個方向邁進。
然而，整體的企業支出卻朝著相反的方向發展。開源模型在企業大型語言模型（LLM）支出中的佔比，已從一年前的 19% 下降至 11%。
實際趨勢與普遍說法背道而馳。為什麼會這樣？這對未來又意味著什麼？
首先，提供一些背景，說明我們為何有 90% 的業務依賴開源。這不是因為成本，也不是因為客戶要求（雖然他們並不介意），而是因為我們別無選擇。
當你在生產環境中為客戶服務運行 AI Agent 時，延遲是決定產品成敗的關鍵。一個每次互動都需要 8 秒才能回應的對話，不會有人願意使用。因此，你需要體積小、速度快的模型。每一次模型呼叫，並不需要知道立陶宛的首都或高中物理知識。
然而，開箱即用的小型模型，無法達到客戶對我們要求的品質標準。它們只有透過針對特定任務進行大量微調，才能達到這個水準。前沿實驗室基本上不提供這種組合。你無法按照我們需要的方式微調他們最好的模型，而他們的小型模型也不歸我們掌控。小型 + 微調意味著開放權重。節省成本是真實的，但只是次要考量；企業對自託管模型的接受度是一個不錯的附加效益，而非主要原因。
那麼，為什麼像我們這樣的公司有 90% 使用開源，而整體企業的數字卻在下降？
答案是使用案例的成熟度。當一個使用案例是新的時候，你會想要你能得到的最聰明的通用模型。你還不清楚問題的樣貌，所以你會為你可能最終用不到的智慧支付溢價。在那個階段，這是正確的權衡。但一旦使用案例完全建立起來，當你了解輸入的分佈、你需要的行為以及需要防範的失敗模式時，權衡就會翻轉。此時，通用智慧變成了多餘的開銷，你需要的是一個最小、最快、經過微調、能極其出色地完成你特定任務的模型。
客戶服務恰好是業界最明顯的 AI 使用案例之一。工作流程為人熟知、對話量巨大、品質標準嚴格。這意味著像我們這樣的公司，只是比一般企業部署更早進入這個成熟曲線的階段。
而這就是這個矛盾的解答。開源佔比下降的原因，並非開源正在失利。而是企業 AI 整體正處於成熟曲線的最初期。去年，企業停止自行建置，開始購買，數千個全新的使用案例同時湧現。新的使用案例依賴前沿模型，因此封閉模型的佔比暴增。11% 這個數字是一個分母問題：不成熟使用案例的池子，增長速度比成熟使用案例的池子更快。
如果這個推論是正確的，那麼今天每一個在前沿模型上進行原型開發的使用案例，都是未來開源遷移的潛在對象。隨著部署逐漸成熟，公司將會做我們做過的事：蒸餾、微調、專業化。前沿實驗室將持續主導探索階段。開源則將越來越主導生產階段。
然而，這所需的時間會比人們想像的更長。大多數使用案例還沒有達到 Agent 的「形狀」已經定型，以至於開始微調開源模型是合理的階段。
微調需要投入心力，而大多數組織缺乏資源或專業知識來進行。這個使用案例必須有非常高的投資報酬率，並且已經大規模完整部署，才值得這麼做。你還需要足夠的數據，來確保較小的模型在特定任務上能達到與前沿模型相同的表現。
否則，直接接入一個前沿的封閉原始碼模型要容易得多。你不需要擔心擁有任何基礎設施，並且可以自由地迭代和實驗。
因此，開源在 LLM 支出中的佔比最終將會回升，但這在許多年內都不會發生。
