.jpg)
En l'ecosistema actual d'intel·ligència artificial, comprendre com es quantifica la informació abans d'enviar-la a un model és una habilitat estratègica. Els models multimodals com Gemini no processen directament text, imatges o àudio, sinó que transformen cada entrada en unitats discretes anomenades tokens. Aquest procés, conegut com a tokenització, actua com un còdec de compressió semàntica que permet al model interpretar i generar contingut de manera eficient. Comptar aquests tokens localment, sense dependre d'una crida a l'API, ofereix avantatges significatius en termes de latència, privacitat i control de costos.
Gemini empra tokenitzadors específics segons la modalitat: un tokenitzador de text basat en el vocabulari de Gemma, un altre per a imatges que assigna tokens en funció de la resolució configurada, i un tokenitzador d'àudio que consumeix aproximadament 25 tokens per segon. Per a vídeos, es combinen ambdós: els fotogrames es mostregen a una freqüència determinada (per defecte 1 FPS) i cadascun es tokenitza amb un pressupost màxim segons el nivell de resolució (baix, mitjà, alt). Els documents PDF es processen com a imatges pàgina per pàgina, amb límits de token que oscil·len entre 280 i 1.120 tokens per pàgina. Conèixer aquestes regles permet als desenvolupadors estimar el consum abans de realitzar una petició, optimitzant així el rendiment i el pressupost.
la biblioteca google-genai de Python inclou un LocalTokenizer que replica exactament la lògica de tokenització del costat del servidor. Inicialitzar-lo requereix descarregar uns 30 MB de dades una sola vegada, després de la qual cosa es pot operar completament offline. Aquest enfocament és ideal per a aplicacions que gestionen grans volums de dades sensibles, ja que evita enviar informació a la xarxa només per comptar tokens. A més, permet enrutar peticions segons la mida del context, triant models més lleugers per a entrades petites o models amb finestra de context més gran quan sigui necessari. La capacitat d'auditar el recompte de tokens sense connexió reforça la sobirania de les dades i redueix la dependència de serveis externs.
Més enllà del text, la tokenització multimodal introdueix matisos importants. Per exemple, una imatge d'un gat pot consumir 1.080 tokens en resolució alta, però només 264 en resolució baixa, estalviant un 75 % del cost si el detall visual no és crític. En àudio, un fitxer de 30 segons requereix aproximadament 770 tokens. Per a un vídeo d'un minut, la suma de fotogrames (1.080 tokens en resolució mitjana) i àudio (1.475 tokens) totalitza uns 2.555 tokens, xifra que es duplica en augmentar la taxa de mostreig a 2 FPS. Aquests valors no són fixos: l'API retorna metadades precises a usage_metadata, que discriminen el recompte per modalitat (TEXT, IMAGE, VIDEO, AUDIO, DOCUMENT). Aquesta informació és la font de veritat per a facturació i permet ajustar dinàmicament la configuració de cada petició.
Per a les empreses que desenvolupen solucions basades en intel·ligència artificial, dominar la tokenització local es tradueix en una millor planificació de costos i una integració més eficient en fluxos de treball existents. Per exemple, una aplicació que processa factures en PDF pot estimar el consum de tokens segons el nombre de pàgines i la resolució triada, i decidir si val la pena escalar a un model més potent. De la mateixa manera, un sistema d'atenció al client que utilitza agents IA pot mesurar l'impacte d'afegir instruccions de sistema o historial de conversa, evitant superar límits de context de forma inesperada. Aquestes optimitzacions són clau per oferir aplicacions a mida que mantinguin un equilibri entre precisió i cost operatiu.
A Q2BSTUDIO, empresa especialitzada en desenvolupament de programari a mida, integrem aquests coneixements a les nostres solucions de intel·ligència artificial i serveis cloud AWS i Azure. La capacitat de comptar tokens localment s'alinea amb la nostra filosofia de proporcionar eines auditables, segures i eficients. Ja sigui per implantar agents IA que interactuen amb documents empresarials o per construir panells de Power BI que monitoritzin el consum de recursos cognitius, el control granular sobre la tokenització permet als nostres clients escalar les seves operacions amb confiança. A més, l'ús de metadades d'ús facilita la implementació de polítiques de ciberseguretat i governança de dades, en no dependre exclusivament de crides externes per a tasques de mesura.
Per aprofundir en com aplicar aquestes tècniques en projectes reals, recomanem explorar les nostres solucions d'IA per a empreses, on combinem tokenització intel·ligent, models multimodals i arquitectures cloud per transformar dades en decisions. La tokenització local no és només una capacitat tècnica: és un pilar per construir sistemes responsables, predictibles i escalables a l'era de la intel·ligència artificial generativa.
