CLI rápido para conteo de tokens GPT

tokencount es una herramienta CLI escrita en Rust diseñada para responder una pregunta aparentemente simple: cuántos tokens GPT están ocultos en un proyecto. Si desarrollas funciones de IA, escribes documentación con muchos prompts o necesitas vigilar las ventanas de contexto, esta utilidad facilita una auditoría rápida y precisa.

Por qué la creé: la mayoría de los contadores de tokens procesan archivo por archivo o no respetan la estructura real de proyectos grandes. tokencount fue pensado para recorrer un repositorio de forma veloz y segura, respetando reglas de exclusión del sistema y .gitignore, y ofreciendo resultados útiles desde el primer escaneo.

Características principales: recorrido ultrarrápido con trabajadores en paralelo, respeto por .gitignore y exclusiones globales, compatibilidad con los modelos de OpenAI como cl100k_base u o200k_base gracias a tiktoken-rs, resumen inmediato con conteos por archivo, totales, percentiles y top offenders, modos JSON y NDJSON para integraciones en CI, y opciones de filtrado flexibles como --include-ext, --exclude, --max-bytes y --follow-symlinks. Manejo de errores amable: archivos no UTF-8 u objetos demasiado grandes se omiten con advertencias o silenciosamente con --quiet. Las percentiles usan el enfoque nearest-rank y se adaptan si hay pocos archivos.

Rápido recorrido de uso: instalación mediante cargo install tokencount. Ejemplos: tokencount escanea el directorio actual y por defecto solo archivos con extensión elm; tokencount ./frontend --include-ext elm --include-ext ts incluye Elm y TypeScript; tokencount --top 10 muestra los 10 archivos con más tokens; tokencount --format json genera un resumen legible por máquina; tokencount --format ndjson crea un flujo para pipelines; tokencount --sort tokens ordena por tokens de mayor a menor. Al final de cada ejecución se ofrece un pie de resultados con totales, media por archivo y percentiles p50 p90 p99.

Detalles técnicos: el manejo de ignores se basa en la crate ignore, respetando .gitignore, .git/info/exclude y exclusiones globales, y añade por defecto carpetas comunes como node_modules, target y .git. La tokenización emplea tiktoken-rs para obtener los mismos conteos que los modelos de OpenAI. Formatos de salida y modos silenciosos permiten integrar fácilmente la herramienta en pipelines de CI y automatizaciones.

En Q2BSTUDIO somos especialistas en desarrollo de software y aplicaciones a medida, además de ofrecer soluciones de inteligencia artificial, ciberseguridad y servicios cloud. Si quieres integrar auditorías de tokens como parte de tus procesos de despliegue o gobernanza de modelos, nuestro equipo puede ayudarte a diseñar pipelines y soluciones a medida que incluyan análisis automatizados de prompts y control de contexto.

Ofrecemos servicios completos de desarrollo de aplicaciones a medida y multiplataforma como parte de nuestro catálogo para empresas que necesitan software a medida y productos escalables, visita desarrollo de aplicaciones y software a medida para más información. También trabajamos con proyectos de inteligencia artificial empresarial y agentes IA, descubre nuestras soluciones en servicios de inteligencia artificial para empresas, donde diseñamos pipelines de IA, integración de modelos, y estrategias de monitoreo de contexto y tokens.

Palabras clave y casos de uso: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi. Estas competencias nos permiten ofrecer auditorías completas que combinan conteo de tokens con evaluación de seguridad, optimización de prompts y despliegue en la nube.

Próximamente y retroalimentación: se exploran más codificaciones y formatos de informe HTML o Markdown, histogramas de tamaño de archivo y otras mejoras. El repositorio del proyecto está disponible públicamente y es ideal para abrir issues, contribuir o pedir nuevas funcionalidades. Si pruebas tokencount y quieres integrarlo en tus procesos de ingeniería de prompts o CI, contacta con nuestro equipo en Q2BSTUDIO y te ayudamos a incorporarlo en flujos de trabajo productivos y seguros.

Resumen rápido: tokencount agiliza la identificación de archivos con mayor consumo de contexto, facilita la contabilidad de tokens en proyectos grandes y se integra en pipelines. Para soluciones a medida que incluyan auditoría de tokens, automatización de procesos y despliegue en la nube, Q2BSTUDIO puede ayudarte a diseñar e implementar la mejor estrategia.