Cómo contar tokens de Gemini localmente

En el ecosistema actual de inteligencia artificial, comprender cómo se cuantifica la información antes de enviarla a un modelo es una habilidad estratégica. Los modelos multimodales como Gemini no procesan directamente texto, imágenes o audio, sino que transforman cada entrada en unidades discretas llamadas tokens. Este proceso, conocido como tokenización, actúa como un códec de compresión semántica que permite al modelo interpretar y generar contenido de manera eficiente. Contar estos tokens localmente, sin depender de una llamada a la API, ofrece ventajas significativas en términos de latencia, privacidad y control de costes.

Gemini emplea tokenizadores específicos según la modalidad: un tokenizador de texto basado en el vocabulario de Gemma, otro para imágenes que asigna tokens en función de la resolución configurada, y un tokenizador de audio que consume aproximadamente 25 tokens por segundo. Para vídeos, se combinan ambos: los fotogramas se muestrean a una frecuencia determinada (por defecto 1 FPS) y cada uno se tokeniza con un presupuesto máximo según el nivel de resolución (bajo, medio, alto). Los documentos PDF se procesan como imágenes página por página, con límites de token que oscilan entre 280 y 1.120 tokens por página. Conocer estas reglas permite a los desarrolladores estimar el consumo antes de realizar una petición, optimizando así el rendimiento y el presupuesto.

La biblioteca google-genai de Python incluye un LocalTokenizer que replica exactamente la lógica de tokenización del lado del servidor. Inicializarlo requiere descargar unos 30 MB de datos una sola vez, tras lo cual se puede operar completamente offline. Este enfoque es ideal para aplicaciones que manejan grandes volúmenes de datos sensibles, ya que evita enviar información a la red solo para contar tokens. Además, permite enrutar peticiones según el tamaño del contexto, eligiendo modelos más ligeros para entradas pequeñas o modelos con mayor ventana de contexto cuando sea necesario. La capacidad de auditar el recuento de tokens sin conexión refuerza la soberanía de los datos y reduce la dependencia de servicios externos.

Más allá del texto, la tokenización multimodal introduce matices importantes. Por ejemplo, una imagen de un gato puede consumir 1.080 tokens en resolución alta, pero solo 264 en resolución baja, ahorrando un 75 % del coste si el detalle visual no es crítico. En audio, un archivo de 30 segundos requiere aproximadamente 770 tokens. Para un vídeo de un minuto, la suma de fotogramas (1.080 tokens en resolución media) y audio (1.475 tokens) totaliza unos 2.555 tokens, cifra que se duplica al aumentar la tasa de muestreo a 2 FPS. Estos valores no son fijos: la API devuelve metadatos precisos en usage_metadata, que discriminan el recuento por modalidad (TEXT, IMAGE, VIDEO, AUDIO, DOCUMENT). Esta información es la fuente de verdad para facturación y permite ajustar dinámicamente la configuración de cada petición.

Para las empresas que desarrollan soluciones basadas en inteligencia artificial, dominar la tokenización local se traduce en una mejor planificación de costes y una integración más eficiente en flujos de trabajo existentes. Por ejemplo, una aplicación que procesa facturas en PDF puede estimar el consumo de tokens según el número de páginas y la resolución elegida, y decidir si vale la pena escalar a un modelo más potente. Del mismo modo, un sistema de atención al cliente que utiliza agentes IA puede medir el impacto de añadir instrucciones de sistema o historial de conversación, evitando superar límites de contexto de forma inesperada. Estas optimizaciones son clave para ofrecer aplicaciones a medida que mantengan un equilibrio entre precisión y coste operativo.

En Q2BSTUDIO, empresa especializada en desarrollo de software a medida, integramos estos conocimientos en nuestras soluciones de inteligencia artificial y servicios cloud AWS y Azure. La capacidad de contar tokens localmente se alinea con nuestra filosofía de proporcionar herramientas auditables, seguras y eficientes. Ya sea para implantar agentes IA que interactúan con documentos empresariales o para construir paneles de Power BI que monitoricen el consumo de recursos cognitivos, el control granular sobre la tokenización permite a nuestros clientes escalar sus operaciones con confianza. Además, el uso de metadatos de uso facilita la implementación de políticas de ciberseguridad y gobernanza de datos, al no depender exclusivamente de llamadas externas para tareas de medición.

Para profundizar en cómo aplicar estas técnicas en proyectos reales, recomendamos explorar nuestras soluciones de IA para empresas, donde combinamos tokenización inteligente, modelos multimodales y arquitecturas cloud para transformar datos en decisiones. La tokenización local no es solo una capacidad técnica: es un pilar para construir sistemas responsables, predecibles y escalables en la era de la inteligencia artificial generativa.