Quan una organització necessita extraure valor d'un arxiu massiu de documents no estructurats, el repte va molt més enllà de l'emmagatzematge. Processar 666.000 pàgines de PDFs —com va passar amb els arxius JFK de la NARA— i convertir-les en un motor de cerca de text complet funcional exigeix una combinació d'enginyeria de programari a mida, intel·ligència artificial i una infraestructura cloud eficient. A Q2BSTUDIO hem abordat reptes similars des d'una perspectiva empresarial i tècnica, dissenyant pipelines que transformen dades opaques en informació processable.
El punt de partida sol ser una muntanya de PDFs sense metadades de cerca, distribuïts en carpetes sense índex. Per a un projecte d'aquesta escala, la primera decisió estratègica és construir una aplicació a mida que automatitzi la ingesta, validació i extracció de contingut. No n'hi ha prou amb un script bàsic: cal un sistema tolerant a errors, que gestioni fitxers corruptes, pàgines en blanc i formats OCR inconsistents. La solució ideal és un pipeline orquestrat en llenguatges com Go, que ofereix concurrència nativa i un binari únic desplegable sense dependències pesades. Això redueix dràsticament els costos operatius davant d'arquitectures SaaS tradicionals.
La fase d'extracció combina diverses eines: pdftotext per a text incrustat, Tesseract per a OCR quan el PDF és una imatge escanejada, i algorismes de normalització per netejar soroll. Aquí és on la intel·ligència artificial pot marcar la diferència: models de processament de llenguatge natural (NLP) ajuden a identificar entitats, dates i relacions semàntiques dins del text extret. En lloc de cercar paraules clau exactes, l'usuari pot llançar consultes complexes com '(president Kennedy o el president) no (pàgina en blanc o intencionadament deixada en blanc) i (alt secret o TS/SCI)'. Per aconseguir-ho, el sistema ha d'indexar no sols tokens individuals sinó també n-grames i valors gemàtrics (Simple, English, Jewish, etc.) que permetin cerques avançades.
El cost d'allotjar aquest tipus de motor pot disparar-se si s'opta per solucions cloud gestionades. Una anàlisi de costos reals va mostrar que una arquitectura basada en Azure o AWS amb serveis com Elasticsearch, MongoDB Atlas i Redis gestionats podia superar els 7.000 dòlars mensuals. A Q2BSTUDIO oferim serveis cloud optimitzats que redueixen dràsticament aquesta factura. Per exemple, migrant a un servidor bare metal a OVH per 33 dòlars al mes, i utilitzant un pipeline escrit en Go per eliminar totes les subscripcions SaaS intermèdies, vam aconseguir un estalvi de 180.000 dòlars en tres anys. La clau és dissenyar una arquitectura que combini emmagatzematge local amb processament paral·lel mitjançant semàfors, evitant colls d'ampolla.
La ciberseguretat és un altre pilar fonamental. Quan es manegen documents classificats o sensibles (com els JFK files), cada pas del pipeline s'ha d'auditar: des de la baixada segura mitjançant HTTPS fins a l'eliminació segura de fitxers temporals. Implementem anàlisi antivirus amb ClamAV a cada fitxer abans de l'extracció, i registres detallats (debug, info, error) que permeten traçar qualsevol anomalia. A més, l'ús de certificats TLS autogenerats assegura que la interfície web final —un cercador autònom servit pel binari de Go— sigui accessible només per usuaris autoritzats.
La intel·ligència artificial no apareix només en l'OCR o el NLP. També podem integrar agents d'IA que aprenguin del comportament de cerca dels usuaris per suggerir documents rellevants o detectar patrons ocults al corpus. Per exemple, un agent podria identificar que certs termes críptics apareixen sistemàticament juntament amb noms d'agents, ajudant a descobrir connexions no evidents. Aquest tipus de funcionalitat converteix un cercador passiu en una eina activa d'investigació, la qual cosa resulta especialment valuosa en àmbits com l'OSINT (Open Source Intelligence).
La integració amb eines de Business Intelligence (BI) com Power BI permet visualitzar tendències: freqüència de mencions per any, densitat de termes classificats per document, mapes de calor sobre pàgines que contenen més de N criptònims. En estructurar els resultats en una base de dades indexada localment (en lloc d'una base relacional tradicional), s'aconsegueixen respostes en mil·lisegons fins i tot amb 666.000 pàgines. L'arquitectura de fitxers plans amb checksums SHA512 i bloquejos per document (sync.RWMutex a Go) garanteix la consistència en un entorn multifil on centenars de pàgines es processen simultàniament.
El procés complet es divideix en dotze etapes ben definides: des de la importació del CSV amb metadades (identificador, títol, URL, ruta local) fins a l'agregació final del document complet. Cada pàgina individual passa per extracció de text, generació d'imatges PNG en mode clar i fosc, conversió a JPEG progressiu, OCR, anàlisi de dates amb expressions regulars i detecció de criptònims. Un canal intel·ligent (SmartChan) amb control d'escriptura evida pànics a Go i permet una comunicació fluida entre les gorutines que executen cada etapa. El resultat és un directori estructurat que el lector (un altre binari) interpreta com una base de dades autocontinguda.
Per a empreses que necessiten processar enormes volums de documentació —legals, financeres, històriques o de compliance— aquesta aproximació és replicable i escalable. No es requereix un equip de DevOps enorme ni una subscripció cloud mensual desorbitada. Amb una inversió inicial en desenvolupament de programari a mida (Go, pipelines, OCR amb IA) i un servidor bàsic, qualsevol organització pot construir el seu propi cercador de text complet, amb la possibilitat d'afegir capes d'intel·ligència artificial, ciberseguretat avançada i quadres de comandament a Power BI. A Q2BSTUDIO hem demostrat que és possible passar de 7.000 dòlars al mes a 33, mantenint —i fins i tot millorant— la funcionalitat. La tecnologia és a l'abast d'aquells que s'atreveixen a construir, no només a comprar.
