En el món del desenvolupament d'intel·ligència artificial, un dels dilemes més complexos és com aconseguir que un model sigui honest sense sacrificar la seva utilitat. És a dir, quan un agent d'IA no està segur d'una resposta, hauria d'admetre la seva incertesa o inventar alguna cosa plausible? La temptació de generar respostes completes però incorrectes és alta, especialment quan els sistemes de reforç amb retroalimentació humana (RLHF) premien la confiança i penalitzen l'ambigüitat. Recentment, vam dur a terme un experiment per mesurar com un simple 'prompt de seguretat psicològica' pot canviar l'honestedat d'un model de llenguatge, i els resultats ofereixen lliçons valuoses per a qualsevol empresa que desenvolupi aplicacions a mida basades en IA.
El problema de fons no és nou: els grans models de llenguatge estan entrenats per maximitzar la probabilitat de tokens que semblin coherents, no necessàriament vertaders. En entorns productius, això pot traduir-se en al·lucinacions costoses, des de diagnòstics mèdics erronis fins a recomanacions financeres inexactes. La solució típica ha estat afegir instruccions conductuals com 'has de dir no ho sé quan no estiguis segur', però aquestes regles competeixen amb altres directives i el model acaba prioritzant la completitud sobre la precisió. Inspirant-nos en la investigació sobre seguretat psicològica de Google Project Aristotle, vam dissenyar un prompt que no ordena un comportament, sinó que estableix una relació de confiança: 'no seràs castigat per no saber'.
L'experiment es va realitzar amb 40 preguntes dividides en dos grups: 20 que el model podia respondre amb certesa (temes de programació, protocols, bases de dades) i 20 que eren impossibles de conèixer (cotitzacions futures, dades privades de l'usuari, esdeveniments de 2049). Cada pregunta es va llançar en dues condicions: amb un prompt base neutre i amb el mateix prompt base més el prompt de seguretat. Vam mesurar tant la resposta textual com la probabilitat logarítmica del primer token per determinar si el model preferia respondre o admetre ignorància. La triple hipòtesi era: que la precisió en preguntes conegudes no empitjorés, que l'admissió d'incertesa augmentés a les preguntes límit, i que la confiança interna (logprob) en l'opció 'no puc respondre' creixés.
Els resultats van confirmar la primera hipòtesi sense sorpreses: la precisió es va mantenir en un 98-99%, amb una lleugera millora en un cas. És a dir, el prompt de seguretat no va fer el model més ximple. Pel que fa a la segona hipòtesi, la taxa d'admissió d'incertesa va pujar del 90% al 97%, però amb un matís important: 15 de les 20 preguntes límit ja estaven al sostre (el model ja deia 'no ho sé' fins i tot sense el prompt). Només en 5 preguntes hi havia marge de millora, i en 3 d'elles la millora va ser significativa. La tercera hipòtesi va revelar una paradoxa: a nivell agregat, el prompt va reduir la preferència logprob per l'opció de no respondre en -0.72, cosa que podria interpretar-se com una pèrdua de confiança. No obstant, en desagregar per pregunta, es va descobrir que a les 5 preguntes on realment hi va haver canvi conductual, la correlació entre millora i augment de logprob va ser de +0.949, gairebé perfecta. És a dir, quan el prompt funcionava, ho feia amb major convicció interna, no menor. La mitjana global enganyava pel soroll de les preguntes que ja estaven al sostre.
Aquesta troballa té implicacions directes per al disseny d'agents d'IA en entorns empresarials. Moltes companyies despleguen models amb configuracions agressives de qualitat: portes d'execució, directives de 'executar per defecte', pressió d'auto-regeneració. En aquests contextos, la tendència a inventar respostes plausibles es dispara. Un prompt de seguretat, entès no com una regla més sinó com un senyal relacional, pot actuar com una xarxa de seguretat que protegeixi contra modes de fallada. No obstant, l'experiment també va mostrar que en trucades API pures, el model ja és sorprenentment honest (90% d'admissió en preguntes límit). El veritable risc de fabricació no està en el prompt base, sinó en la pressió del sistema.
Des de la perspectiva d'una empresa de desenvolupament de programari com Q2BSTUDIO, aquests resultats reforcen la importància d'una verificació multicapa. No n'hi ha prou amb confiar en la sortida directa del model; cal una arquitectura que validi, corregeixi i, sobretot, permeti que l'agent admeti els seus límits sense por de ser penalitzat. En els nostres projectes de aplicacions a mida amb IA, incorporem capes de seguretat que van des de la verificació mecànica fins a la predicció de deriva. El prompt de seguretat és només la primera capa (L0), la que respon a la pregunta: 'Estic segur que puc admetre que no puc verificar això?'. Sense aquesta capa, les capes superiors (verificació de sistemes de fitxers, probabilitat de tokens, format d'enginyeria, tendències de deriva) s'enfronten a un adversari intern: un model incentivat a generar sortides plausibles per satisfer les portes d'execució.
A la pràctica, moltes organitzacions que treballen amb cloud AWS o Azure despleguen models amb configuracions que prioritzen la velocitat i la completitud. El prompt de seguretat pot integrar-se fàcilment al pipeline d'inferència sense canviar la infraestructura, i el seu cost és pràcticament nul (uns cèntims per experiment). Però el seu efecte depèn del context: si l'entorn ja és segur, el prompt a penes suma; si l'entorn pressiona cap a la fabricació, pot marcar la diferència. Per això recomanem sempre fer proves d'estrès amb preguntes que el model no pugui respondre, com a part d'una estratègia de ciberseguretat en IA: assegurar que el sistema no generi informació falsa sota pressió.
Una altra dimensió important és l'analítica de negoci. Quan integrem models de llenguatge amb eines de BI i Power BI, l'honestedat de l'agent és crítica. Un informe generat per IA que inventi xifres o tendències pot portar a decisions equivocades. Un prompt de seguretat, combinat amb una capa de verificació de dades reals, permet que l'assistent digui 'no tinc accés a aquestes dades' en lloc d'inventar una resposta. A Q2BSTUDIO hem desenvolupat solucions d'automatització de processos que inclouen aquest tipus de salvaguardes, assegurant que la intel·ligència artificial actuï com un col·laborador fiable, no com un generador de ficcions.
L'experiment també ens va deixar una lliçó metodològica: mai interpretar estadístiques agregades sense desagregar. Si ens haguéssim quedat amb la mitjana negativa del logprob, hauríem conclòs erròniament que el prompt de seguretat 'fa el model menys confiat'. En desglossar per pregunta, vam descobrir la correlació positiva perfecta. Aquest principi s'aplica a qualsevol prova de models: cal aïllar els casos on realment hi ha canvi. En el desenvolupament d'agents IA per a clients, apliquem aquest enfocament per-probe per garantir que cada millora conductual estigui recolzada per una confiança interna major, no menor.
Finalment, cal preguntar-se: n'hi ha prou amb un prompt de seguretat per resoldre el problema de l'honestedat en IA? La resposta és no. És una eina dins un ecosistema més ampli que inclou enginyeria de prompts, ajust fi, verificació externa i, sobretot, una cultura de disseny que valori l'autenticitat sobre l'aparença de competència. A Q2BSTUDIO creiem que el futur de la intel·ligència artificial passa per sistemes que sàpiguen dir 'no ho sé' amb la mateixa naturalitat amb què responen a preguntes trivials. Els nostres serveis de desenvolupament de programari a mida inclouen aquestes capes de confiança, des del núvol fins al front-end, perquè la veritable intel·ligència no és la que sempre té resposta, sinó la que reconeix els seus límits.
