La narrativa predominante en este momento es que el código abierto se está apoderando del mundo empresarial. La brecha de capacidad entre los mejores modelos cerrados y abiertos se ha reducido a un dígito bajo. Un tercio de las empresas Fortune 500 tiene cuentas verificadas en Hugging Face, los laboratorios chinos lanzan modelos de frontera con pesos abiertos cada pocas semanas, y los proveedores de inferencia están arrasando.
Mientras tanto, en Decagon, ahora ejecutamos aproximadamente el 90% de nuestras cargas de trabajo en modelos de código abierto en lugar de OpenAI o Anthropic. Esto es consistente con la mayoría de las empresas de hipercrecimiento y estamos viendo que las grandes empresas con las que trabajamos también se mueven en esta dirección.
Y sin embargo, el gasto empresarial en su conjunto se mueve en la dirección opuesta. Los modelos de código abierto cayeron al 11% del gasto empresarial en LLM, frente al 19% del año anterior.
La tendencia en realidad va en sentido contrario a la narrativa popular. ¿Por qué sucede esto y qué significa para el futuro?
Primero, algo de contexto sobre por qué somos 90% código abierto. No fue por el costo, ni porque nuestros clientes lo exigieran (aunque no les molesta). Fue porque no teníamos otra opción.
Cuando ejecutas agentes de IA en producción para servicio al cliente, la latencia define el éxito o fracaso del producto. Una conversación donde cada turno toma 8 segundos no es un producto que nadie use. Por lo tanto, necesitas modelos pequeños y rápidos. Cada llamada del modelo no necesita saber la capital de Lituania o física de secundaria.
Pero los modelos pequeños fuera de la caja no son lo suficientemente buenos para el estándar de calidad que nuestros clientes nos exigen. Solo llegan a ese nivel mediante un ajuste fino intensivo en la tarea exacta. Los laboratorios de frontera realmente no venden esta combinación. No puedes ajustar finamente sus mejores modelos como nosotros necesitamos, y sus modelos pequeños no son nuestros para moldear. Pequeño + ajustado significa pesos abiertos. El ahorro de costos es real pero secundario, y la comodidad empresarial con modelos auto-alojados es un efecto secundario agradable, no la razón.
Entonces, ¿por qué una empresa como la nuestra es 90% código abierto mientras que el número empresarial más amplio está disminuyendo?
La respuesta es la madurez del caso de uso. Cuando un caso de uso es nuevo, quieres el modelo de propósito general más inteligente que puedas obtener. Aún no conoces la forma del problema, por lo que pagas una prima por inteligencia que quizás no termines necesitando. Esa es la compensación correcta en esa etapa. Pero una vez que el caso de uso está completamente desarrollado, cuando conoces la distribución de las entradas, los comportamientos que necesitas y los modos de falla contra los que protegerte, la compensación cambia. Ahora la inteligencia general es un gasto general, y quieres el modelo más pequeño y rápido ajustado finamente para hacer tu cosa específica extremadamente bien.
El servicio al cliente resulta ser uno de los casos de uso de IA más obvios en la industria. Flujos de trabajo bien comprendidos, volumen de conversación enorme, estándares de calidad estrictos. Lo que significa que empresas como nosotros simplemente están más avanzadas en la curva que la implementación empresarial promedio.
Y esa es la resolución de la paradoja. La razón por la que la participación del código abierto cayó no es que el código abierto esté perdiendo. Es que la IA empresarial en su conjunto está al comienzo de la curva de madurez. El año pasado, las empresas dejaron de construir y comenzaron a comprar, y miles de casos de uso completamente nuevos se pusieron en marcha a la vez. Los nuevos casos de uso se ejecutan en modelos de frontera, por lo que la participación cerrada explotó. El 11% es un problema de denominador: el grupo de casos de uso inmaduros está creciendo más rápido que el grupo de casos de uso maduros.
Si eso es correcto, entonces cada caso de uso que se está prototipando en un modelo de frontera hoy es una futura migración a código abierto. A medida que las implementaciones maduren, las empresas harán lo que nosotros hicimos: destilar, ajustar finamente, especializar. Los laboratorios de frontera seguirán siendo dueños del descubrimiento. El código abierto será cada vez más dueño de la producción.
Sin embargo, esto tomará más tiempo de lo que la gente piensa. La mayoría de los casos de uso simplemente no están en el punto donde la "forma" del agente esté finalizada como para que tenga sentido comenzar a ajustar finamente modelos de código abierto.
El ajuste fino requiere esfuerzo, y la mayoría de las organizaciones no tienen los recursos o la experiencia para hacerlo. El caso de uso tendría que ser de muy alto ROI y ya estar completamente implementado a escala para que valga la pena. También necesitas suficientes datos para asegurarte de que los modelos más pequeños puedan rendir al mismo nivel que los de frontera en una tarea determinada.
De lo contrario, es mucho más fácil conectar uno de los modelos cerrados de frontera. No tienes que preocuparte por poseer ninguna de las infraestructuras y obtienes la libertad de iterar y experimentar libremente.
Por lo tanto, la participación del gasto en LLM en código abierto eventualmente se inclinará hacia arriba, pero no sucederá durante muchos años.
