Il prezzo di un token continua a scendere, ma i conti dell'IA aziendale continuano a salire. Una singola richiesta ora si dirama in recupero, chiamate a strumenti, cicli di ragionamento ed esecuzione multi-step, quindi il numero di token per attività cresce più velocemente di quanto il prezzo per token scenda.
In un recente episodio di All-In, @Chamath Palihapitiya ha descritto costi dei token "che raddoppiano ogni 45 giorni" a fronte di un incremento di produttività del "5%, massimo". Nello stesso episodio, @DavidSacks ha detto che le aziende vogliono modelli più economici e diversificati. DoorDash ha descritto di riservare un modello frontier per i lavori di code-review più difficili, mentre indirizza i compiti di livello inferiore a modelli più economici, e Decagon apparentemente invia il 90% del lavoro di assistenza clienti maturo a modelli aperti. Questo riecheggia ciò che il CEO di Palo Alto Networks, @NikeshArora, ha detto a CNBC di recente: i prezzi dell'IA devono scendere fino al 90% prima che la tecnologia sia veramente utile su larga scala in azienda.
Questo divario non è un problema di prezzo dei token. È un problema di architettura.
Le organizzazioni dovrebbero smettere di misurare il costo per token e iniziare a misurare il costo per attività riuscita. Un modello economico che produce rilavorazioni è costoso. Un modello capace usato al passo giusto è efficiente. La domanda giusta è dove l'intelligenza costosa guadagna il suo prezzo. Rispondere bene a questa domanda è una disciplina ingegneristica, ed è lì che sta emergendo il vantaggio competitivo.
Abbiamo iniziato a costruire per questo in @Glean sette anni fa, prima che il mercato concordasse che fosse importante. Tre parti dell'architettura contano di più.
Prima viene il contesto
Un modello da solo non capisce la tua azienda. Non sa quali documenti sono aggiornati, quali progetti sono attivi, chi possiede cosa, o cosa un dato dipendente è autorizzato a vedere. Nella maggior parte delle aziende, questa conoscenza è sparsa in dozzine di sistemi. Se non sei in grado di assemblarla in modo consapevole dei permessi, il modello ragiona su informazioni parziali e brucia token per riscoprire il tuo business a ogni chiamata.
In un benchmark che abbiamo eseguito in Claude Cowork, abbiamo tenuto costante il modello e scambiato solo il livello di contesto, confrontando l'indice di Glean con server MCP standard. Le risposte basate su Glean sono state preferite circa 2,5 volte più spesso, e gli strumenti standard hanno usato circa il 30% in più di token per fare lo stesso lavoro. Nei casi in cui questi strumenti hanno raggiunto una risposta corretta, hanno bruciato quasi il doppio dei token per arrivarci perché hanno dovuto forzare la ricerca che il livello di contesto avrebbe dovuto gestire. Il vantaggio è cresciuto con la difficoltà dei compiti, con il tasso di vittoria del livello di contesto di Glean che è passato dal 66% per lavori semplici al 73% per lavori complessi e multi-step.
Un contesto migliore aumenta la qualità e riduce i costi allo stesso tempo.
Controllo e vera scelta dei modelli
Le aziende non possono standardizzarsi su un'unica famiglia di modelli. Alcuni compiti necessitano di un modello frontier. Molti no, e possono essere gestiti bene da modelli più veloci o più economici. Ma poche aziende hanno la capacità di valutare continuamente i modelli, gestire l'accesso a diversi fornitori, progettare logiche di fallback e monitorare qualità, costi e latenza mentre il mercato cambia ogni settimana.
Ciò che è sottovalutato è che i modelli aperti non sono più l'opzione economica e debole. Su specifici lavori ad alto volume come codifica e agenti, ora stanno eguagliando o superando i modelli frontier a una frazione del costo. GLM-5.2 si è posizionato entro circa un punto dai migliori modelli chiusi sulla codifica a lungo orizzonte, funzionando a circa un sesto del costo, e Kimi K3 è arrivato come il modello open-weight più grande finora, debuttando al numero uno in un benchmark di codifica leader davanti ai migliori sistemi di Anthropic e OpenAI. Questi sono sistemi di classe frontier che sono aperti, non compromessi di budget. Il co-fondatore di Glean, @TonyGentilcore, ha scritto di più sul perché le aziende dovrebbero smettere di trattarli come off-limits.
Attraverso l'Model Hub di Glean, i clienti raggiungono oltre 30 modelli commerciali e aperti attraverso un unico livello governato, scegliendo quale modello eseguire per utente, reparto o applicazione, con controlli di accesso e audit applicati coerentemente su ciascuno di essi. Il livello del modello può cambiare sotto di te senza forzare una ricostruzione dello stack sovrastante. Questo è ciò che trasforma un mercato di modelli in rapido movimento e in commodity da un rischio in una leva.
L'economia segue
Il punto di Chamath sul costo che supera il valore è quello che ogni CFO alla fine costringerà l'organizzazione ad affrontare. La risposta non è razionare l'accesso. È instradare il lavoro. Waldo, il nostro modello di ricerca agentica specializzato costruito su open NVIDIA Nemotron, viene eseguito prima del modello frontier su ogni query per pianificare la ricerca e fornire un contesto pulito, riducendo l'uso di token di circa il 25% e la latenza di circa la metà alla stessa qualità. Il modello frontier fa quindi solo la parte in cui è unicamente bravo. L'efficienza dei token, non il conteggio dei token, è la metrica che conta.
Dove ci porta questo
Poche aziende hanno costruito questo livello così a lungo, o lo hanno misurato in modo così rigoroso, come noi. Il vantaggio per l'azienda non è l'accesso al modello più recente. È una scelta strategica: quali modelli usare, dove l'IA si manifesta in tutta l'azienda, e come bilanciare intelligenza, velocità e costo, con la libertà di adattarsi man mano che il mercato cambia. I modelli continueranno a superarsi a vicenda. L'architettura intorno a loro è ciò che diventa il fossato.
