En el món del desenvolupament de programari, sovint ens trobem amb tecnologies que semblen caixes negres. Frameworks com TensorFlow o PyTorch ens permeten construir models complexos amb unes poques línies de codi, però el procés intern —des de la tokenització fins a la retropropagació— queda amagat. Trencar aquesta barrera és l’objectiu d’un projecte fascinant: un model de llenguatge minúscul (tiny language model) implementat en Node.js pur, sense dependències externes. Aquest enfocament no pretén competir amb GPT, sinó desvelar cada escalar del procés: embeddings, atenció causal, transformadors, softmax i el descens de gradient. En veure cada operació, la màgia es desvaneix i l’aprenentatge automàtic es converteix en enginyeria comprensible.
El petit model, desenvolupat per Maxim Sekretov, utilitza un vocabulari de només 24 tokens, dos blocs Transformer i un total de 2.160 paràmetres. S’entrena amb un corpus estructurat de 14 relacions de capacitat (per exemple, human can read, fish can swim). L’entrenament es fa en tres fases: pre-entrenament, ajust supervisat (SFT) i ajust adaptatiu supervisat. En aquesta darrera, s’introdueix una relació faltant (cat cannot read) i es reforça fins que la probabilitat de cada token objectiu supera el 95% durant 11 iteracions consecutives. Aquí apareix un problema clàssic: l’oblit catastròfic. Si només s’entrena amb els nous exemples, el model perd les respostes anteriors. La solució és el rehearsal: repetir exemples antics durant l’ajust adaptatiu. Aquesta tècnica és un recordatori que en producció, els sistemes d’IA requereixen estratègies acurades d’actualització per no trencar el comportament après.
Què ens ensenya aquest projecte a nivell empresarial? Que la intel·ligència artificial no és màgia, sinó un conjunt d’operacions matemàtiques i estadístiques que podem dominar. A Q2BSTUDIO apliquem aquesta filosofia cada dia. El nostre equip construeix aplicacions a mida que integren components d’IA de forma transparent, sense dependre de caixes negres que comprometin l’explicabilitat o la seguretat. Perquè quan entens el flux des del token fins a la pèrdua, pots auditar, optimitzar i protegir cada pas.
La implementació en Node.js del model petit demostra que és possible ensenyar a una màquina a raonar amb recursos mínims. El codi utilitza un objecte Value per representar cada nombre escalar, amb un graf computacional que permet la retropropagació manual. Cada neurona és una instància que realitza sumes ponderades i activacions ReLU. La self-attention es calcula sense dreceres: matrius Q, K, V, score, softmax i màscara causal. És lent, però didàctic. Aquest nivell de transparència és essencial per formar equips d’IA que sàpiguen què fer quan un model falla o quan un client d’una indústria regulada exigeix justificació de cada decisió.
En l’àmbit empresarial, la transparència en IA es tradueix en confiança. Les empreses que adopten solucions d’intel·ligència artificial necessiten saber que les seves dades estan segures i que els processos són auditables. Per això a Q2BSTUDIO oferim serveis d’IA que van des de la consultoria fins a la implementació d’agents intel·ligents, passant per integracions amb cloud AWS/Azure. El núvol proporciona l’escalabilitat necessària per a models de llenguatge grans, però la lògica interna ha de seguir sent comprensible. El mateix passa amb la ciberseguretat: un model entrenat amb dades sensibles s’ha de protegir contra atacs d’extracció d’informació. El treball amb BI/Power BI i automatització també es beneficia d’aquest enteniment profund, perquè els models de llenguatge poden actuar com a interfícies naturals per a sistemes de reporting o fluxos de treball automatitzats.
L’exemple del “gat no pot llegir” il·lustra una altra lliçó empresarial: l’aprenentatge supervisat directe no és suficient perquè un model generalitzi. Tot i que el professor proporciona la resposta correcta (cat cannot read), el model no “descobreix” biologia; simplement ajusta els seus pesos per minimitzar la pèrdua en aquell context. Per aconseguir robustesa, es necessita un criteri d’estabilitat, com les 11 iteracions exitoses consecutives. En projectes reals, això es tradueix en pipelines de validació contínua i proves de regressió. Els agents d’IA que desenvolupem a Q2BSTUDIO se sotmeten a cicles d’avaluació rigorosos per garantir que el comportament après persisteix fins i tot després d’actualitzacions incrementals.
El projecte també aborda l’oblit catastròfic mitjançant el rehearsal, una tècnica que combina exemples antics i nous durant l’entrenament adaptatiu. En un entorn empresarial, això equival a mantenir un conjunt de dades de referència que es re-avalua periòdicament. Si una empresa personalitza un model de llenguatge amb dades pròpies, ha de conservar una representació de les dades originals o utilitzar estratègies com elastic weight consolidation per no perdre capacitats prèvies. A Q2BSTUDIO ajudem a dissenyar aquestes estratègies dins dels nostres serveis d’aplicacions a mida, integrant la IA com un component més, no com una caixa negra.
En resum, el tiny language model en Node.js ens recorda que la intel·ligència artificial és un camp d’enginyeria, no de màgia. En exposar cada escalar, cada gradient i cada actualització de pes, el projecte educatiu de Sekretov permet a desenvolupadors i empreses comprendre els fonaments reals. A Q2BSTUDIO apliquem aquesta mateixa transparència als nostres desenvolupaments: des de la intel·ligència artificial fins a la ciberseguretat, passant pel núvol i el business intelligence. Perquè quan s’elimina la màgia, el programari esdevé més fiable, auditable i eficient.
