Els models de llenguatge han guanyat una popularitat creixent en tasques com la recuperació d'informació, especialment en dominis específics com el biomèdic. A mesura que les aplicacions s'orienten a contextos més especialitzats, la pràctica d'ajustar models mitjançant tècniques de fine-tuning esdevé essencial per obtenir resultats precisos i rellevants. Aquest estudi analitza el rendiment de quatre models basats en transformadors (RETRO, GPT-J, GPT-3 i BLOOM) en tasques de recuperació d'informació biomèdica a partir d'un corpus de 480000 articles científics sobre predicció d'estructura i funció de proteïnes. Sorprenentment, els models més petits (menys de 10B paràmetres) que han estat finament ajustats amb dades específiques del domini superen considerablement —en més del 50?% de mitjana— als models més grans quant a precisió, rellevància i interpretabilitat. Això ressalta el valor d'una estratègia d'afinació precisa, deixant de banda la premissa que més paràmetres necessàriament signifiquen millors resultats.
El tuning de precisió o surgical fine-tuning consisteix a adaptar únicament certes capes d'un model prèviament entrenat. Aquesta tècnica preserva característiques apreses essencials mentre adapta l'arquitectura al context o tasca específica, aconseguint fins i tot resultats superiors davant de mètodes més extensius d'ajust complet. Aquest enfocament és particularment útil en la recuperació d'informació dins l'àmbit biomèdic, on l'exactitud és crítica, ja que qualsevol dada errònia sobre la funció d'una proteïna pot influir negativament en investigacions i tractaments mèdics.
En aquest context, Q2BSTUDIO, empresa especialitzada en desenvolupament de solucions tecnològiques i serveis digitals, reconeix el valor de l'ajust fi de models de llenguatge en projectes complexos. Des de les nostres oficines, dissenyem sistemes intel·ligents aprofitant el poder del machine learning, aportant solucions eficients a sectors com el farmacèutic o clínic. Els nostres enginyers han implementat estratègies de microajust amb models de menys de 10B paràmetres en sistemes de suport per a la presa de decisions mèdiques, permetent als nostres clients optimitzar els seus fluxos de treball amb resultats concrets i fiables.
Aquest tipus de sistemes ha de minimitzar l'entropia —és a dir, l'aleatorietat en les seves respostes— per garantir la fiabilitat del servei. Models com Galactica, dissenyats amb grans volums de paràmetres i entrenats en conjunts de dades molt generals, han fallat en tasques especialitzades com la solució de problemes matemàtics bàsics, a causa del seu alt nivell de dispersió. En canvi, Q2BSTUDIO s'enfoca en l'especialització: utilitzem estratègies d'hiperafinació (hyper-tuning) de models petits per a tasques com la predicció d'estructures proteiques, aconseguint reduir l'entropia i augmentar la precisió.
Aquest treball comparatiu destaca els avantatges de treballar amb models més compactes, com RETRO i GPT-J, davant d'opcions massives com GPT-3 i BLOOM. En tasques on la rellevància, exactitud i interpretabilitat són primordials —com en l'anàlisi científic biomèdic—, els sistemes més lleugers i especialitzats demostren resultats superiors. Executar aquest tipus de processament sobre grans corpus garanteix no només respostes pertinents, sinó també la possibilitat d'entendre com va ser presa cada decisió, una cosa essencial en àmbits regulats com el sanitari o farmacològic.
En definitiva, l'adopció de models lingüístics més petits i finament ajustats a tasques específiques representa una evolució lògica cap a sistemes d'intel·ligència artificial més eficients, transparents i adequats per a entorns crítics. Des de Q2BSTUDIO, impulsem aquest tipus de solucions que permeten a les organitzacions accedir a tecnologia d'alt valor amb nivells de precisió adaptats als seus desafiaments reals.
