IA en tu propio servidor: la cuenta que nos hizo desistir

En septiembre de 2026 comparamos dos formas de correr el modelo de IA del bot de WhatsApp de un servicio de salud: por API o en servidor propio. La API cuesta centavos al mes. El servidor propio, unos USD 576.

“Corre la IA en tu propio servidor y no le pagas a nadie” es una de las ideas más repetidas del momento. Ollama, que permite descargar y correr modelos abiertos en tu máquina, es de las herramientas de IA más buscadas en Colombia, y en GitHub los proyectos para correr modelos localmente están entre los que más estrellas suman cada mes. La promesa es atractiva: sin costo por uso, sin depender de un proveedor y con tus datos en casa. En nuestro caso real, la versión “gratis” salía cientos de veces más cara.

El caso: un modelo que puntúa leads

El bot de WhatsApp de un servicio de salud usa un modelo de IA pequeño para una tarea concreta: puntuar qué tan probable es que cada lead reserve una cita, para avisarle primero a la asesora sobre los más calientes. Ese modelo se consume por API: se le manda la conversación, devuelve una puntuación.

El mismo día que lo pusimos en producción apareció la versión de código abierto del mismo modelo: una familia de modelos pequeños, con la misma forma de uso, que se puede descargar y correr en servidor propio. La pregunta era obvia: ¿nos ahorramos la API?

La cuenta

Lo que cuesta la API: USD 0,042 por millón de tokens de entrada, y la salida no se cobra. Cada llamada sale en alrededor de USD 0,0000126. El bot hizo 460 llamadas en unas cinco semanas, cerca de 13 al día. Al mes, el costo es de centavos.

Lo que cuesta correrlo en casa: el modelo abierto necesita una tarjeta gráfica (GPU) para responder rápido. El más pequeño de la familia, en una GPU de las más económicas para este trabajo, cuesta unos USD 0,80 por hora. Encendida todo el mes, porque los leads llegan a cualquier hora, son unos USD 576 mensuales.

¿Y sin GPU? En un computador Apple corre, pero tarda 721 milisegundos por respuesta contra 18 a 42 en GPU. En un servidor común, sin tarjeta gráfica, no encontramos una medición publicada, y lo esperable es que sea más lento todavía.

Pagar cerca de 600 dólares al mes para ahorrar centavos no tiene sentido. Decidimos no migrar.

Los costos que no salen en la comparación

Y eso que la cuenta de arriba es la generosa, porque solo suma la GPU. Un modelo en tu propio servidor también trae trabajo que la API te ahorra: alguien tiene que instalarlo, actualizarlo cuando salga una versión nueva, vigilar que siga respondiendo a las tres de la mañana y reiniciarlo cuando se cuelgue. Con la API, si el proveedor tiene un problema, lo resuelve él. Con el modelo propio, el problema es tuyo y el bot se queda sin puntuar leads hasta que alguien lo note.

Tampoco es cierto que el modelo propio sea automáticamente más privado si el resto del sistema no lo es: la conversación igual pasa por WhatsApp, por el CRM y por los registros del bot. La privacidad se diseña en todo el recorrido, no solo en el modelo.

Cuándo sí conviene la IA en tu propio servidor

La cuenta cambia en dos situaciones, y vale la pena tenerlas claras:

1. Cuando el volumen es enorme. Si en vez de 13 llamadas diarias fueran cientos de miles, el costo por uso de la API empezaría a pesar y una GPU fija podría salir más barata. Hay que hacer la cuenta con tu volumen real, no con el de un ejemplo.
2. Cuando los datos no pueden salir de tu infraestructura. Algunos sectores —salud, finanzas, gobierno— tienen reglas que lo exigen. Ahí la GPU no es un costo que se compara: es el precio de cumplir.

Hay un tercer caso legítimo que no es de negocio: aprender. Correr Ollama en tu computador para entender cómo funcionan estos modelos es una gran idea. Montarlo en producción para atender clientes es otra conversación.

Lo que aprendimos de evaluar una tendencia

Es fácil quedarse en “existe una alternativa de código abierto” sin mirar el precio de la API que ya usábamos ni el requisito de GPU. La investigación tiene que llegar hasta el número real, con tu volumen real. Que algo sea tendencia en GitHub dice que es interesante, no que te convenga.

Es el mismo criterio que contamos en qué le pasa a un chatbot de WhatsApp gratis cuando el negocio crece: lo gratis tiene costos que no aparecen en la etiqueta. Si quieres un chatbot de WhatsApp con IA donde cada pieza está elegida por su costo real, eso es lo que montamos.