Pacient amb dolor al pit: chatbot no va activar emergència

El cas d'un chatbot sanitari que no va saber reaccionar davant d'un pacient que esmentava dolor al pit ha posat sobre la taula una realitat incòmoda: la intel·ligència artificial aplicada a la salut no pot limitar-se a ser amable i coherent; ha d'estar dissenyada per fallar de forma segura quan el context ho exigeix. Aquest incident, lluny de ser un error aïllat, revela mancances estructurals en la forma en què moltes organitzacions conceben, desenvolupen i proven els seus assistents conversacionals. El bot en qüestió responia correctament a preguntes administratives, mantenia un to professional i resistia intents de manipulació, però quan un usuari real va expressar un símptoma d'alarma, el sistema es va limitar a dir que no podia donar consell mèdic. No hi va haver derivació a urgències, ni sintonització emocional, ni activació d'un protocol d'escalat. Aquest silenci no és un error d'experiència d'usuari: és un risc de seguretat i un problema de compliment normatiu.

Per entendre la gravetat de la situació convé analitzar el context més ampli. L'adopció d'intel·ligència artificial en entorns clínics ha crescut de forma exponencial, impulsada per la necessitat de descarregar tasques repetitives, agilitar l'atenció i oferir canals de comunicació disponibles 24/7. Tanmateix, moltes implementacions es realitzen amb una visió ingènua: s' assumeix que un model de llenguatge ben entrenat pot manejar qualsevol interacció si se li donen instruccions genèriques. La realitat és molt diferent. Un assistent virtual per a un centre de salut no només ha de respondre preguntes; ha d' interpretar senyals d' urgència, validar dades crítiques com dates de naixement, i reconèixer quan una conversa ha de ser transferida a un humà. Cadascuna d' aquestes capacitats requereix un disseny explícit, no una habilitat emergent del model.

El cas del dolor al pit és paradigmàtic perquè mostra l'abisme entre un sistema que funciona en condicions normals i un que protegeix els pacients en situacions límit. El chatbot va rebre la frase i va generar una resposta genèrica, sense incorporar cap mecanisme de detecció d'emergències. Això podria haver-se evitat amb una capa de preprocessament que identifiqués termes com "dolor al pit", "dificultat per respirar" o "pèrdua de consciència" i forcés una resposta amb instruccions clares de recerca d'atenció mèdica immediata. No es tracta que la IA diagnostiqui, sinó que actuï com un primer filtre de seguretat. En la nostra experiència desenvolupant solucions d'intel·ligència artificial per a empreses, sabem que aquesta funcionalitat és perfectament assolible amb tècniques de processament de llenguatge natural i regles simples, sempre que es contempli des de la fase de disseny.

Una altra de les fallades que es van detectar en l'auditoria d'aquest bot va ser l'acceptació d'una data de naixement impossible, com 31/02/2023. El sistema no va realitzar cap validació semàntica, per la qual cosa la dada errònia va passar directament al registre del pacient. En un entorn clínic, això no és una molèstia menor: una data incorrecta pot afectar la programació de cites, la facturació, la història clínica i fins i tot a càlculs d'edat per a dosis pediàtriques. La responsabilitat de garantir la qualitat de la dada recau en el programari que el captura. Implementar regles de validació bàsiques —com comprovar que el dia estigui dins del rang vàlid per a cada mes— és una tasca senzilla que qualsevol equip de desenvolupament hauria d'incloure de forma estàndard. En Q2BSTUDIO, quan treballem en aplicacions a mida per al sector salut, incorporem aquest tipus de controls com a part del nucli de la lògica de negoci, no com un afegit opcional.

El tercer aspecte preocupant va ser la gestió d'un usuari frustrat que portava dies intentant contactar amb la clínica sense èxit. El bot va reconèixer la frustració, però en lloc d'escalar el cas a un agent humà, va demanar de nou totes les dades personals, com si la conversa comencés de zero. Això evidencia una manca de memòria de context i, més important, una absència d'intel·ligència situacional. Un disseny centrat en el pacient hauria d'identificar patrons com la repetició de queixes o la menció de temps d'espera llargs com a senyals per activar un flux de derivació humana. La tecnologia actual permet construir agents IA que mantenen l'estat de la conversa i prenen decisions basades en llindars de risc. De fet, la combinació de models de llenguatge amb lògica de negoci personalitzada és una de les àrees on més valor aportem des de Q2BSTUDIO, ajudant les organitzacions a crear assistents que no només xerraven, sinó que actuen de forma proactiva.

Aquests exemples posen de manifest que una qualificació global del 78 % —o una nota de "C"— pot ser enganyosa. Un sistema que encerta en nou de cada deu interaccions continua sent perillós si falla just en la desena, que és precisament la que posa en risc la salut del pacient. Per això, les mètriques agregades no són suficients. Les proves d' estrès han d' incloure escenaris extrems: pacients confosos, usuaris frustrats, dades invàlides, emergències explícites. I aquestes proves s'han d'executar no només durant el desenvolupament, sinó de forma contínua després del desplegament.

Des d' una perspectiva empresarial, ignorar aquests riscos pot tenir conseqüències legals, reputacionals i financeres molt greus. Una demanda per negligència digital, una inspecció de l'autoritat sanitària o una fuga de dades mal validades poden destruir la confiança construïda durant anys. Per això, cada vegada més organitzacions estan integrant auditories de seguretat i compliment en els seus processos de desenvolupament de programari. La ciberseguretat no es limita a protegir contra atacs externs; també inclou garantir que el sistema no causi dany als seus propis usuaris per omissió o error. En els nostres serveis de ciberseguretat i pentesting, abordem tant les vulnerabilitats tècniques com les fallades de lògica de negoci que poden derivar en incidents de seguretat per als pacients.

Un altre vector de millora substancial rau en la infraestructura que suporta aquests sistemes. Els assistents conversacionals moderns es recolzen en serveis cloud AWS i Azure per escalar, emmagatzemar converses i executar models de llenguatge de forma eficient. Tanmateix, una mala configuració d' aquests entorns pot exposar dades sensibles o alentir les respostes en moments crítics. L' elecció del núvol i l' arquitectura de desplegament tenen un impacte directe en la fiabilitat i la seguretat del bot. Des de Q2BSTUDIO oferim consultoria especialitzada en serveis cloud AWS i Azure per garantir que la infraestructura estigui alineada amb els requisits de disponibilitat, latència i protecció de dades que exigeix el sector salut.

A més, la capacitat de mesurar i millorar contínuament el rendiment d' aquests sistemes és fonamental. Aquí entren en joc les eines de serveis intel·ligència de negoci i Power BI. Amb panells de control adequats, els equips clínics i tècnics poden monitoritzar en temps real el nombre de converses escalades, els patrons d' insatisfacció, les taxes d' error en la validació de dades o la freqüència amb què s' activen els protocols d' emergència. Aquesta informació permet ajustar els models i els fluxos de conversa de forma àgil. Integrar power bi en l'ecosistema del chatbot no és un luxe, sinó una necessitat per a qualsevol organització que vulgui operar amb dades i millorar de forma iterativa.

En definitiva, el cas del chatbot que va ignorar el dolor al pit no s'ha de llegir com una anècdota tècnica, sinó com una crida d'atenció per a totes les empreses que estan digitalitzant els seus processos d'atenció al pacient. La tecnologia és una eina poderosa, però la seva implementació descuidada pot generar riscos inacceptables. La solució no passa per abandonar la intel·ligència artificial, sinó per adoptar un enfocament disciplinat que contempli des del disseny fins a l'operació contínua. En Q2BSTUDIO treballem cada dia perquè les organitzacions puguin aprofitar el potencial de la IA sense comprometre la seguretat ni la qualitat del servei. Ja sigui mitjançant el desenvolupament de programari a mida, la implantació d' agents IA amb capes de seguretat, o l' auditoria de sistemes existents, el nostre objectiu és que la tecnologia actuï sempre a favor del pacient, mai en contra seu.