Perfil del client El client és un proveïdor professional de tecnologia sanitària la plataforma del qual és utilitzada per múltiples institucions mèdiques per donar suport a fluxos de treball amb dades clíniques. El projecte es va centrar a habilitar una cerca semàntica ràpida i fiable sobre terminologies mèdiques estandarditzades perquè els equips sanitaris puguin extreure significat estructurat de textos lliures.
Reptes El projecte afrontava diversos desafiaments crítics: un pipeline d'embeddings manual que depenia de transferències per Drive i col·locació manual de fitxers que alentia les actualitzacions i trencava la reproducibilitat; infraestructura fragmentada que impedia a l'equip de ML controlar el comportament del sistema complet; entrada i sortida clínica no estructurada amb notes abreujades i descripcions extenses que dificultaven el parseig; colls d'ampolla en control de qualitat semàntica que exigien validació manual per experts; i un canvi d'escalabilitat en superar la memòria RAM disponible provocant la migració a índexs en disc.
Solució Per proporcionar un aparellament semàntic fiable des d'entrades clíniques no estructurades vam implementar un pipeline d'integració de ML modular i lleuger que inclou models LLM allotjats a Azure per a normalització en temps real, generació offline d'embeddings per a control i versionat, una base de dades vectorial Quadrant desplegada en contenidor per a cerques locals d'alta velocitat, i una API REST containeritzada que separa la lògica ML del nucli de l'aplicació. Els conjunts d'embeddings s'empaqueten com a fitxers versionats per a desplegaments reproducibles i la solució segueix principis de MLOps i DevOps per garantir governança de versions, observabilitat i estabilitat operativa.
Components clau Models Azure OpenAI com GPT-4 s'utilitzen per transformar text lliure en representacions estructurades sense necessitat d'etiquetatge local. Els embeddings es generen localment amb un model d'embeddings i s'organitzen per terminologia en col·leccions versionades. Quadrant s'executa com a contenidor que exposa cerca per similitud vectorial via REST. Un servei Flask containeritzat ofereix un endpoint simple per rebre text lliure i retornar conceptes estandarditzats amb codis, etiquetes i puntuacions de confiança. El desplegament està controlat per versions d'embeddings empaquetades i orquestrat amb fitxers de configuració per entorn per a DEV i PROD.
Característiques del servei Normalització semàntica en temps real a través d'un únic endpoint que accepta input clínic en text lliure, el normalitza amb LLM i realitza cerca vectorial contra col·leccions mèdiques versionades. Suport per a múltiples terminologies com SNOMED CT, LOINC i RxNorm amb col·leccions independents i versionades. Endpoint d'introspecció operativa que exposa versions carregades de col·leccions i configuracions LLM per facilitar la verificació per equips de QA. Validació human in the loop basada en un conjunt de referència amb mapeigs ground truth per automatitzar parcialment QA sense eliminar la supervisió experta.
Procés de desenvolupament Preparació d'embeddings: cada terminologia es processa localment des de CSV o JSON per generar vectors densos per concepte incloent etiquetes i sinònims; els embeddings es generen en lots respectant límits d'API i s'empaqueten per versió. Versionat i transferència: les col·leccions versionades s'emmagatzemen en un repositori compartit i es despleguen mitjançant pipelines que actualitzen la pila containeritzada. Configuració d'entorns: cada VM disposa d'un volum local muntat a /mnt/data/collections per a les col·leccions, i la pila Docker Compose defineix els contenidors Flask i Quadrant amb configuració específica per entorn via fitxers .env. Configuració LLM: els endpoints d'Azure OpenAI s'accedeixen mitjançant SDK o REST amb claus en variables d'entorn i gestió de rate limits amb backoff exponencial i jitter. Processament de consultes: flux end to end on el text arriba a l'endpoint search, es normalitza amb LLM, es genera un embedding local per a la consulta i es realitza cerca per similitud a Quadrant retornant resultats rankejats amb codis, etiquetes i puntuacions. Logging i monitorització: logs estructurats des de la recepció fins al lliurament, incloent prompts, respostes, retries i mètriques de durada enviats a Graylog per a traçabilitat. QA i validació: proves automatitzades d'integritat d'embeddings, càrrega d'índexs i comportament de scoring, complementades amb proves clíniques curades i revisió experta abans de promoure canvis a producció.
Impacte Cerca semàntica escalable que suporta múltiples col·leccions mèdiques amb centenars de milers a milions de termes. Latències de cerca per sota d'1 segon fins i tot després de migrar a índexs en disc per restriccions de RAM. Infraestructura lleugera executada en un conjunt reduït de contenidors, amb el component ML aïllat per facilitar manteniment i escalat independent. Validació human in the loop amb conjunts de prova curats que redueixen la necessitat de revisions manuals constants. Integració LLM mitjançant Azure OpenAI que permet adaptabilitat sense entrenament local i resistència a límits de taxa mitjançant lògica de reintents.
Sobre Q2BSTUDIO Q2BSTUDIO és una empresa de desenvolupament de programari especialitzada en aplicacions a mida i programari a mida per a clients de sectors crítics. Som especialistes en intel·ligència artificial i ciberseguretat i oferim serveis cloud AWS i Azure, serveis intel·ligència de negoci, solucions d'intel·ligència artificial per a empreses, agents IA i consultoria en power bi. El nostre enfocament combina pràctiques sòlides de MLOps i DevOps per lliurar solucions reproducibles, segures i operatives en producció. Des de la integració de models LLM fins a la implementació de pipelines d'embeddings versionats i desplegaments containeritzats, Q2BSTUDIO aporta experiència tècnica i metodològica per transformar casos d'ús clínics i empresarials en productes escalables.
Serveis i paraules clau Oferim aplicacions a mida i programari a mida orientats a valors reals de negoci, consultoria en intel·ligència artificial, solucions d'ia per a empreses, integració d'agents IA, serveis cloud aws i azure, analítica avançada i power bi per a visualització i reporting. A més, proveïm serveis de ciberseguretat i compliment per a entorns cloud i on premise, assegurant que les solucions d'intel·ligència artificial i serveis intel·ligència de negoci es despleguin amb observabilitat, traçabilitat i control de versions.
Conclusió La implementació d'una cerca semàntica mèdica lleugera i alineada amb pràctiques de MLOps permet mapejar text lliure a conceptes clínics estandarditzats amb alta precisió i velocitat, reduint la dependència de revisions manuals i facilitant el desplegament reproducible entre entorns. Q2BSTUDIO acompanya organitzacions sanitàries i empreses en tot el cicle de desenvolupament i implantació, oferint solucions a mida que combinen intel·ligència artificial, ciberseguretat i serveis cloud aws i azure per maximitzar impacte i minimitzar risc.
