L'avaluació de la intel·ligència artificial viu un punt d'inflexió. Durant dècades, les proves estàtiques amb respostes conegudes han estat el termòmetre principal del progrés: conjunts de dades etiquetats, exàmens de raonament, tasques de visió artificial. El problema apareix quan un sistema supera els millors humans en una d'aquestes proves: a partir d'aquest moment, la prova deixa d'aportar informació útil. Cada millora d'un punt percentual pot no reflectir una capacitat nova, sinó un ajust estadístic. Per continuar avançant, necessitem una manera de mesurar la intel·ligència que no depengui del sostre humà.
El repte no és només estadístic, sinó epistemològic. Per qualificar un examen cal saber quina és la resposta correcta. Si els avaluadors no són capaços de resoldre una tasca difícil, com poden afirmar que una resposta generada per una màquina és correcta? En dominis tancats, com les matemàtiques o la programació, la verificació formal ofereix una sortida. En dominis oberts, com l'estratègia empresarial o el diagnòstic organitzatiu, no existeix una solució única. Aquesta asimetria explica per què els benchmarks tradicionals se saturen i per què és tan difícil construir una escala absoluta d'intel·ligència.
Una alternativa és canviar l'enfocament: mesurar de manera relativa, deixant que els mateixos sistemes generin els desafiaments. La idea consisteix a fer que un model creï una tasca que consideri representativa d'una capacitat concreta; un altre model l'ha de resoldre. Si el reptador falla, el generador suma punts; si encerta, el reptador els guanya. Repetint el procés a gran escala s'obté una classificació dinàmica, una mena de sistema de puntuació psicomètrica de caràcter adversarial. L'important és que cap humà no necessita conèixer la solució: n'hi ha prou que el generador produeixi reptes vàlids i que un verificador pugui comprovar les respostes.
Aquest enfocament té una propietat especialment valuosa: escala amb els sistemes que pretén mesurar. Quan els models actuals són capaços de generar problemes de dificultat creixent, els models del futur hauran de resoldre problemes encara més difícils. L'avaluació deixa d'estar congelada en el límit humà. Per això té sentit parlar d'intel·ligència més enllà de l'escala humana: no perquè existeixi una fórmula màgica, sinó perquè la dificultat de les proves s'adapta contínuament a la capacitat dels avaluats.
Perquè un sistema així sigui fiable, cal evitar els atacs basats en informació privilegiada. Si el model generador coneix la solució, podria introduir pistes subtils que només un altre model entrenat de manera similar sigui capaç de detectar, falsejant els resultats. Una solució pràctica és el protocol de compromís i revelació: el generador publica un resum digital del desafiament, l'envia als avaluadors i només després revela el contingut complet, comprovant-se que coincideix amb l'anunciat. Una altra és separar la generació i la verificació en entorns aïllats, de manera que el generador no pugui modificar les respostes dels altres. Aquests protocols redueixen els incentius per manipular l'avaluació i permeten emetre veredictes sense necessitat d'un jutge humà en els dominis on existeix verificació formal.
En els dominis oberts i no verificables, l'adjudicació és més delicada. Una via consisteix a utilitzar la consistència entre agents: si diversos sistemes independents coincideixen que una resposta és coherent i no troben contradiccions, la resposta es dona per vàlida. Una altra via és emprar meta-avaluadors que només valoren la qualitat de la pregunta, no la solució. En qualsevol cas, la clau és que el veredicte no depengui d'una única persona ni d'un únic model, sinó d'un procés dissenyat per minimitzar biaixos i maximitzar la reproductibilitat.
Aquest canvi té implicacions empresarials immediates. Les organitzacions necessiten saber quin model d'IA és adequat per a cada tasca i com detectar quan un sistema deixa de millorar. Les proves generades per agents permeten construir avaluacions contínues de competències, molt més realistes que els tests d'opció múltiple. Amb elles es pot mesurar si un assistent virtual resol incidències que no ha vist mai, si un sistema de ciberseguretat identifica una vulnerabilitat nova o si un model de llenguatge produeix informes útils per a la presa de decisions.
Imaginem una plataforma d'avaluació de models lingüístics. Un agent generador crea un expedient mèdic simulat i pregunta quin és el diagnòstic més probable. Un altre agent ha de respondre en llenguatge natural. Un verificador automàtic comprova si la resposta menciona les dades clau i no inventa informació. Cada interacció actualitza el rating d'ambdós. Després de milers de rondes, la classificació deixa de reflectir memòria i comença a reflectir capacitat de raonament aplicat. Aquest mateix patró es pot traslladar a la selecció de personal, a l'auditoria de processos o a la millora contínua d'un ERP.
El paper dels humans no desapareix; s'eleva. En lloc de corregir milers d'exercicis, els experts defineixen els criteris de qualitat, revisen els casos límit i decideixen quines habilitats són estratègiques. La màquina s'encarrega de multiplicar els escenaris i de buscar sistemàticament els punts febles d'altres sistemes. És una forma d'avaluació col·laborativa entre intel·ligències artificials, supervisada per persones amb criteri i orientada a objectius de negoci reals.
A Q2BSTUDIO, empresa de desenvolupament de programari i tecnologia, apliquem aquesta filosofia a projectes concrets. Quan desenvolupem aplicacions a mida, integrem sistemes d'avaluació que aprenen amb cada ús, en lloc de dependre d'exàmens fixos. El nostre equip dissenya arquitectures on els agents d'IA generen casos de prova, els entorns es despleguen en cloud AWS/Azure i els resultats es visualitzen amb quadres de comandament en BI/Power BI. També incorporem solucions d'Intel·ligència Artificial a cada capa del procés, des de la generació de reptes fins a la interpretació de resultats. La ciberseguretat és una part essencial: protegir les dades d'avaluació és tan important com la precisió de la mètrica.
Posar en marxa aquest model en una empresa requereix diversos passos. Primer, identificar les competències crítiques que es volen mesurar. Segon, triar els generadors i verificadors adequats, ja siguin models propis o serveis externs. Tercer, desplegar la infraestructura al núvol amb polítiques de privadesa estrictes. Quart, definir l'algoritme de puntuació i les regles d'actualització. Finalment, visualitzar l'evolució amb indicadors que ajudin a prendre decisions. No és un procés trivial, però la tecnologia per fer-ho existeix avui, i les empreses que l'adoptin abans disposaran d'un avantatge competitiu notable.
Mesurar la intel·ligència més enllà de l'escala humana no és una utopia. És un canvi de paradigma que es pot implementar amb generació adversarial de proves, verificació formal, computació elàstica al núvol i analítica de dades. El repte és dissenyar protocols justos i interpretar els resultats amb sentit crític. Els qui ho aconsegueixin podran dir amb precisió quins sistemes són realment capaços, fins i tot quan cap humà no conegui la resposta.
