En l'ecosistema actual d'intel·ligència artificial, els equips d'enginyeria tracten les explicacions de SHAP i LIME com si fossin veritats absolutes. No obstant, la realitat tècnica demostra que aquestes explicacions no són més que mostres d'una distribució que varia segons les dades de referència, l'estratègia de mostreig i les condicions d'execució. Per a una IA regulada —especialment en sectors com banca, assegurances o compliance— la propietat que realment importa sota auditoria no és si l'explicació és correcta, sinó si és prou estable per ser defensada. Un equip de risc creditici en un banc minorista del Regne Unit desplega un model de detecció de frau conscient del desbalanceig. Utilitza TreeSHAP per generar atribucions de característiques en cada transacció senyalada, adjuntant-les a l'expedient per a revisió de compliment. Sis mesos després, un regulador desafia una decisió concreta. L'equip extreu l'expedient original, presenta l'atribució: 'la decisió es va basar en velocitat de transacció, anomalia geogràfica i codi de categoria del comerciant'. El regulador demana repetir l'atribució. L'equip ho fa amb el mateix model, la mateixa entrada, la mateixa implementació de TreeSHAP. L'ordre d'importància de les característiques torna lleugerament diferent. La velocitat de transacció baixa dos llocs. La categoria del comerciant puja tres. L'equip es queda sense arguments. El model no va canviar. L'entrada no va canviar. Què va canviar? La mostra de fons. TreeSHAP —com totes les variants de SHAP— calcula les atribucions com a expectatives condicionals sobre una distribució de referència. Aquesta distribució es mostreja de les dades d'entrenament. Si es mostreja un fons diferent, s'obté una atribució diferent. La decisió real del model no es va desplaçar; l'explicació de la decisió sí. L'equip ha produït un artefacte de defensa d'auditoria que una altra extracció del mateix procediment pot contradir. Aquesta és la bretxa que la governança d'IA empresarial està a punt de descobrir, i de la manera més dura.
La base conceptual de l'atribució SHAP és la teoria de jocs cooperatius —concretament, els valors de Shapley, que distribueixen de manera justa la contribució de cada jugador al resultat d'un equip. Aplicat a l'aprenentatge automàtic, els 'jugadors' són les característiques i el 'resultat' és la predicció. SHAP atribueix quant va contribuir cada característica a la diferència entre la predicció del model per a aquesta entrada específica i la predicció esperada del model sobre alguna distribució de referència. Aquesta última clàusula importa més del que sembla. La distribució de referència és la mostra de fons —normalment uns centenars d'observacions extretes de les dades d'entrenament. SHAP no diu 'la característica X importa tant'. Diu 'la característica X va contribuir tant en relació amb el que el model hauria predit de mitjana sobre aquesta mostra de fons específica'. Mostra de fons diferent, línia base diferent, atribució diferent.
Per a models deterministes amb distribucions de característiques estables, aquesta dependència és prou petita per ser tolerable. Però per a models entrenats amb desbalanceig de classes —on la classe minoritària s'ha sobremostrejat sintèticament amb SMOTE o tècniques similars— la dependència esdevé substancial. La distribució d'entrenament i la distribució de desplegament divergeixen; la representativitat de la mostra de fons esdevé poc fiable; la variància de l'atribució creix. Aquesta realitat tècnica té un nom mesurable: σ_SHAP, la variància entre repeticions de l'atribució mitjana absoluta sota mostreig rotat de fons. Formalment, σ_SHAP = √(m⁻¹ Σⱼ Varₖ(|φⱼ,ₖ|)), on φⱼ,ₖ és l'atribució per a la característica j calculada contra la k-èsima mostra de fons, i la variància es pren a través de K mostres independents. L'arrel quadrada produeix una mesura escalar d'inestabilitat d'atribució en les mateixes unitats que les atribucions.
En un treball recent sobre predicció de dificultats financeres conscient del desbalanceig, es va mesurar aquesta σ_SHAP sobre K=50 mostres de fons rotades de 100 observacions cadascuna, en el conjunt de dades públic de predicció de fallida de Taiwan. El que la mesura va revelar és conseqüent: la variància de les atribucions SHAP a través de fons rotats és substancial, i —el que és més important per als desplegaments en producció— el maneig del desbalanceig mitjançant SMOTE amplifica materialment la inestabilitat. Els models entrenats amb dades sobremostrejades sintèticament produeixen atribucions amb una variància sota fons rotats més gran que els models entrenats amb les dades originals desbalancejades. La resposta estàndard de producció al desbalanceig de classes —el sobremostreig sintètic minoritari— degrada la propietat de defensa d'auditoria del model resultant. Això no és una preocupació teòrica; és una realitat d'enginyeria mesurada en un benchmark públic, amb un paquet de reproductibilitat pública que qualsevol equip pot verificar contra el seu propi pipeline de producció.
Per què això importa sota un desafiament regulator? Els equips de compliance que llegeixen la declaració supervisora SS1/23 de la PRA del Regne Unit sobre gestió de riscos de models noten el requisit de 'evidència de validació suficient' i 'desafiament efectiu' de les decisions del model. Normalment ho interpreten com un requisit de documentació: generar explicacions, adjuntar-les als expedients, retenir-les durant les finestres d'auditoria. Els equips d'enginyeria ho interpreten com 'executar SHAP una vegada per decisió i emmagatzemar la sortida'. Ambdues interpretacions passen per alt el que està per venir. El mecanisme d'aplicació de la PRA és el dret de desafiament supervisor sobre decisions concretes. Un regulador selecciona un cas, sol·licita a la firma que demostri l'evidència de validació, i prova si l'explicació és defensable. Si la firma torna a executar l'atribució i obté una resposta materialment diferent, la defensa s'esfondra —no perquè el model estigui malament, sinó perquè l'explicació era una estimació puntual d'una distribució que la firma mai va mesurar. Les directrius de l'Autoritat Bancària Europea sobre aprenentatge automàtic apliquen una pressió similar, exigint raonament documentat darrere de decisions individuals del model en aplicacions de risc creditici. La Llei d'IA de la UE, per a sistemes d'alt risc, exigeix interpretabilitat i reproductibilitat com a línies base de compliment. La guia emergent de la FCA sobre IA en serveis financers emfatitza que les decisions han de ser reconstruïbles sota desafiament. Cap d'aquests instruments especifica 'mesurar la variància d'atribució sota fons rotats'. Especifiquen resultats —i la variància d'atribució és la propietat que determina si aquests resultats poden realment lliurar-se.
La implicació d'enginyeria honesta no és que SHAP estigui trencat o que no s'hagi d'usar. És que l'atribució d'un sol tret, tal com es desplega actualment en producció, està construint artefactes d'auditoria que la metodologia subjacent no recolza. Per aconseguir una atribució estable es requereixen tres canvis en el patró de desplegament en producció: primer, mesurar sota variància, no com a estimació puntual. Els pipelines d'atribució en producció haurien de calcular atribucions a través de múltiples mostres de fons —típicament de 30 a 100 extraccions independents— i informar no només l'atribució mitjana sinó la variància entre extraccions. Un regulador hauria de poder veure 'la característica X contribueix tant, amb tanta incertesa', no només un número. Segon, fixar un protocol de fons per a artefactes de defensa d'auditoria. Si una atribució específica s'adjunta a un expedient per a retenció de compliment, la mostra de fons utilitzada per generar-la hauria d'estar versionada, persistida i reproducible. Això converteix l'atribució d'un procés estocàstic en un de determinista per a fins d'auditoria: la firma es compromet amb un fons específic, enregistra la seva identitat, i qualsevol repetició utilitza el mateix fons. Això és disciplina d'enginyeria, no sofisticació tècnica. Tercer, considerar l'estabilitat d'atribució com un criteri de selecció de models. En avaluar models candidats, l'estabilitat d'atribució sota condicions d'execució realistes hauria de ser una dimensió d'avaluació —juntament amb la precisió predictiva, la calibració i l'equitat. Els models que produeixen atribucions estables sota variació realista en temps de desplegament són operativament més valuosos que aquells que produeixen atribucions lleugerament més precises però materialment menys estables. Aquesta compensació és actualment invisible en la majoria dels pipelines de selecció de models perquè ningú mesura sistemàticament la dimensió d'estabilitat.
En la pràctica, la implementació d'atribució estable requereix una infraestructura modesta però disciplina explícita. Els primitius d'enginyeria inclouen: mostreig de fons amb llavor fixa (cada extracció de fons utilitza un estat aleatori amb llavor explícita, registrat a la petjada del desplegament; les repeticions usen la mateixa llavor); mesura rotada de fons en temps d'avaluació (el model s'avalua no només en precisió i calibració sinó també en σ_SHAP —la variància de les atribucions a través de K extraccions de fons rotades—, fixant K, la mida del fons i el calendari de llavors de rotació); i persistència de la identitat del fons en temps d'execució (quan es calcula l'atribució per a una decisió de producció, la identitat de la mostra de fons —el hash de les observacions reals utilitzades— es persisteix juntament amb l'atribució, la versió del model i l'entrada; les repeticions d'auditoria usen el fons persistit). Quan un regulador desafia una decisió concreta, la firma torna a executar SHAP contra el fons persistit —no contra una nova mostra aleatòria— i l'atribució es reprodueix exactament. Cap d'aquestes operacions és computacionalment costosa; cap requereix investigació nova; totes requereixen decisions d'enginyeria deliberades que la majoria dels desplegaments de producció actualment no estan prenent.
Aquí és on entra Q2BSTUDIO com a aliat estratègic. Com a empresa especialitzada en el desenvolupament d'aplicacions a mida, Q2BSTUDIO entén que la IA regulada no pot basar-se en artefactes d'un sol ús. Els seus equips integren bones pràctiques de mesura d'estabilitat en els pipelines d'aprenentatge automàtic que construeixen per als seus clients, garantint que les atribucions siguin defensables sota escrutini regulatori. A més, la companyia ofereix serveis de cloud AWS i Azure que permeten escalar aquests processos amb la infraestructura adequada per persistir mostres de fons i realitzar càlculs rotats sense pèrdua de rendiment. La ciberseguretat també juga un paper fonamental: la integritat dels fons persistits i la traçabilitat de les execucions són crítiques per complir amb auditories externes, i Q2BSTUDIO desplega solucions de ciberseguretat que protegeixen aquests actius. En l'àmbit de la intel·ligència de negoci, la companyia utilitza Power BI per visualitzar la variància d'atribucions i ajudar els equips de compliance a entendre la incertesa en les explicacions. I, per descomptat, el desenvolupament d'agents IA permet automatitzar la rotació de fons i la generació d'informes d'estabilitat, alliberant els equips de tasques repetitives. En un escenari on la precisió i l'estabilitat competeixen, Q2BSTUDIO assessora els seus clients perquè prenguin la decisió operativament correcta: prioritzar models que, encara que lleugerament menys precisos, ofereixin atribucions que es mantinguin fermes sota repetició. Aquesta és la clau per a una IA realment auditable i defensable.
La compensació és real: els desplegaments en producció reportaran atribucions juntament amb la seva incertesa, i la incertesa de vegades serà incòmodament gran. La resposta d'enginyeria honesta és mesurar aquesta incomoditat, reportar-la i dissenyar al seu voltant —no suprimir-la retornant una estimació puntual que el mètode subjacent no recolza. La defensa d'auditoria no consisteix a produir millors explicacions. Consisteix a produir explicacions l'estabilitat de les quals es pugui mesurar i defensar. Això és un problema d'enginyeria, no un problema de governança. I és solucionable —si es mesura el que realment està passant, en lloc del que es desitjaria que passés. Les empreses que arribin primer a aquesta pràctica —mesurant l'estabilitat d'atribució en temps de desplegament, persistint identitats de fons en temps d'execució i tractant l'atribució com una propietat mesurada en lloc d'un artefacte generat— tindran capacitats de defensa d'auditoria que la resta de la indústria estarà adaptant d'aquí a cinc anys.
