La tokenización ha sido durante mucho tiempo un cuello de botella silencioso en los pipelines de procesamiento de lenguaje natural. Mientras que los modelos de lenguaje crecen en tamaño y complejidad, la etapa de convertir texto en tokens seguía siendo considerada un paso menor, rara vez optimizado con la misma exigencia que el entrenamiento o la inferencia. Gigatoken, un tokenizador basado en Byte-Pair Encoding (BPE) escrito en Rust y publicado bajo licencia MIT por Marcel Rød, estudiante de doctorado en Stanford, viene a romper ese paradigma. Su rendimiento es tan disruptivo que merece la atención de cualquier profesional que trabaje con grandes volúmenes de texto, desde equipos de inteligencia artificial hasta empresas que necesitan procesar datos a escala industrial.
Los benchmarks publicados son contundentes: en una máquina con dos CPUs AMD EPYC 9565 (144 núcleos en total), Gigatoken alcanza una velocidad de procesamiento de 24,53 GB/s sobre el corpus owt_train.txt de 11,9 GB usando el tokenizador GPT-2. Para ponerlo en contexto, la implementación de OpenAI, tiktoken, logra 36,0 MB/s, y la de HuggingFace tokenizers, 24,8 MB/s. Esto supone una ventaja de 681x y 989x respectivamente. En un Apple M4 Max de 16 núcleos, la misma carga de trabajo se ejecuta a 8,79 GB/s, es decir, 1.268 veces más rápido que HuggingFace tokenizers y 140 veces más que tiktoken. En un AMD Ryzen 7 9800X3D de consumo, el rendimiento es de 6,27 GB/s, superando en 106x a HuggingFace y en 68x a tiktoken. Estas cifras no son fruto de una configuración concreta ni de un solo vocabulario: Gigatoken soporta 23 familias de tokenizadores en sus pruebas publicadas, incluyendo GPT-2, Llama 3 y 4, Qwen 2 a 3.6, DeepSeek V3/R1/V4, GLM 4 y 5, Kimi K2, Nemotron 3, Phi-4, OLMo 2/3, ModernBERT, Gemma y Mistral.
¿Cómo consigue Gigatoken semejante aceleración? El secreto no reside en un algoritmo de merging BPE más rápido, sino en dos optimizaciones que la mayoría de los tokenizadores dan por resueltas: la pre-tokenización y el caché de pre-tokens. La pre-tokenización tradicional delega en un motor de expresiones regulares, lo que introduce una latencia considerable. Gigatoken la reescribe completamente a mano. El registro de optimizaciones documenta una evolución fascinante: partiendo de una implementación con fancy-regex que rendía 47 MiB/s, se pasó a una máquina de estados artesanal con 380 MiB/s, luego a un combinador winnow con SIMD NEON (462 MiB/s), después a un iterador directo con tabla de búsqueda de 256 bytes y técnica SWAR (830 MiB/s), y finalmente a una explotación de ILP con dos cursores simultáneos que alcanza 1.049 MiB/s. El cuello de botella de 840 MiB/s no era de ancho de banda, sino de latencia: cada token dependía del anterior en una cadena serial de unos 25-27 ciclos. Ejecutar dos cursores independientes desde un punto de división seguro permite que el procesador fuera de orden intercale ambas corrientes, duplicando el rendimiento efectivo. En total, la pre-tokenización mejora 22,3x respecto a una implementación con regex.
La segunda mejora es el caché de pre-tokens. Si una palabra ya ha sido tokenizada antes, su codificación se recupera de la memoria en lugar de recalcularla. Aunque implementar este caché es complejo —el vocabulario crece rápido y la distribución de palabras sigue una cola larga—, Gigatoken logra minimizar el impacto sobre la memoria y mantener el rendimiento. Además, la interacción con Python se reduce al mínimo y los hilos están diseñados para interferir lo menos posible entre sí.
Es importante matizar que las ganancias no son universales. Para vocabularios SentencePiece —como los de Gemma o CodeLlama— las mejoras son de entre 7x y 22x, órdenes de magnitud inferiores a los 1.000x de BPE. Y WordPiece no está soportado. Por otro lado, Gigatoken ofrece un modo de compatibilidad que envuelve un tokenizador existente de HuggingFace o tiktoken, preservando la salida exacta, aunque con una penalización de rendimiento de aproximadamente 200-300x (debido al overhead de Python). Los números espectaculares corresponden a la API nativa, donde Rust lee los archivos directamente.
Una verificación independiente en KrabArena, sobre una máquina virtual con 4 vCPU Intel Xeon a 2,20 GHz y una muestra de 174 MB de OpenWebText, confirmó los resultados: Gigatoken 0.9.0 alcanzó una mediana de 277,8 MB/s, frente a 10,62 MB/s de tiktoken y 3,33 MB/s de tokenizers. Todas las pruebas validaron 35.356 documentos, demostrando que la tendencia de rendimiento escala con el número de núcleos.
Para las empresas que desarrollan modelos de lenguaje o procesan grandes corpus, Gigatoken representa un cambio de juego. Reducir el tiempo de tokenización de horas a minutos, o de minutos a segundos, acelera significativamente los ciclos de experimentación y despliegue. En Q2BSTUDIO, entendemos que la eficiencia en cada etapa del pipeline de IA es crítica. Por eso ofrecemos servicios de software a medida que integran soluciones como Gigatoken en entornos productivos, optimizando desde la ingesta de datos hasta la inferencia en la nube. Nuestro equipo combina experiencia en inteligencia artificial, ciberseguridad y cloud computing (AWS/Azure) para garantizar que sus proyectos no solo sean rápidos, sino también seguros y escalables.
Además, la tokenización rápida tiene implicaciones directas en áreas como la automatización de procesos y el análisis de negocio. Cuando se procesan millones de documentos para alimentar dashboards de BI (Power BI) o para entrenar agentes de IA conversacionales, cada milisegundo cuenta. Gigatoken permite que estas cargas de trabajo se ejecuten en menos tiempo y con menor consumo de recursos, lo que se traduce en ahorro de costes en infraestructura cloud. En Q2BSTUDIO, ayudamos a las empresas a diseñar arquitecturas que aprovechen estas tecnologías punteras, ya sea mediante integraciones personalizadas con Python, despliegues en servidores dedicados o soluciones serverless en la nube.
En definitiva, Gigatoken demuestra que aún hay espacio para mejoras radicales en componentes que se consideraban maduros. Su enfoque basado en Rust, SWAR e ILP establece un nuevo estándar en tokenización BPE. Para cualquier organización que busque maximizar el rendimiento de sus sistemas de procesamiento de lenguaje natural, merece la pena evaluar esta herramienta y, con el apoyo de un socio tecnológico como Q2BSTUDIO, integrarla de forma segura y eficiente en sus flujos de trabajo.
