Construir una aplicación "Chat con PDF" gratuita y privada en 70 líneas de Python

Tienes un PDF privado con el que necesitas conversar pero no quieres subirlo a servicios de terceros. Puede contener datos sensibles de clientes, planes internos o información financiera personal. Este artículo explica paso a paso cómo montar en local una aplicación tipo Chat con PDF usando herramientas libres y gratuitas que respetan tu privacidad y funcionan sin claves ni conexiones a servidores externos.

Por qué esta arquitectura: Privacidad, potencia y coste cero. La solución se basa en dos pilares que corren enteramente en tu equipo. Ollama actúa como cerebro, permitiendo ejecutar modelos de lenguaje grandes como Llama 3 o Mistral en modo offline. LanceDB es la memoria vectorial ligera y rápida que almacena los embeddings de tus textos para búsquedas instantáneas. Con esta combinación todo ocurre en tu portátil y tus documentos nunca salen de tu máquina.

Herramientas principales y comandos esenciales. Instala Ollama según tu sistema operativo y ejecuta en una terminal separada el comando ollama serve y deja esa terminal abierta. Luego descarga los modelos que usarás con ollama pull llama3 y ollama pull nomic-embed-text. Con eso tendrás el LLM y el modelo de embeddings listos en local.

Evita el infierno de dependencias. Recomiendo gestionar versiones de Python con pyenv y usar una versión probada como 3.14.0 con pyenv install 3.14.0 y pyenv local 3.14.0. Librerías clave a instalar en el entorno virtual: pip install lancedb==0.25.3 ollama==0.6.1 pypdf==6.2.0. Esta combinación ha sido verificada para evitar errores por incompatibilidades.

Resumen del flujo RAG implementado. El proceso sigue cinco pasos: ingestión, chunking, embeddings, almacenamiento y consulta con generación. Primero se extrae texto del PDF, se parte en fragmentos manejables, cada fragmento se convierte a vector usando el modelo de embeddings, se guardan vectores y textos en LanceDB en disco y, en tiempo de consulta, la pregunta se transforma a vector para recuperar el fragmento más relevante y finalmente se genera la respuesta con Llama 3 usando ese contexto.

Ejemplo de estructura simplificada del script en Python. Coloca un archivo llamado file.pdf en la misma carpeta. A modo de guía y sin entrar en detalles sintácticos que dependen del entorno, la lógica esencial es:

DOC_PATH = file.pdf DB_PATH = ./lancedb_data MODEL_EMBED = nomic-embed-text MODEL_GEN = llama3 leer PDF y concatenar texto dividir texto en trozos de tamano aproximado 1000 caracteres para cada trozo generar embedding con ollama.embeddings modelo MODEL_EMBED guardar filas con id, texto y vector en LanceDB bucle de consulta: leer pregunta, generar vector de la pregunta, buscar vecino mas cercano en LanceDB, enviar prompt combinado con el fragmento encontrado al modelo de generacion y mostrar respuesta

Notas practicas. Ajusta el tamano de los chunks segun la densidad del contenido. Para documentos muy largos o tecnicos puede convenir reducir a 500 caracteres o usar solapamiento entre chunks para preservar contexto. LanceDB guarda los datos en disco sin necesidad de un servidor separado, lo que facilita respaldos y privacidad. Ollama funciona totalmente offline una vez que los modelos estan descargados.

Casos de uso reales. Con este flujo puedes resumir informes financieros extensos, preparar preguntas complicadas para reuniones o generar guiones y resúmenes accionables. Por ejemplo, pedir un resumen de highlights financieros en tres puntos o simular un miembro del consejo escéptico que formule preguntas duras sobre el informe, todo sin exponer tu documento a proveedores externos.

Seguridad y buenas practicas. Mantener el sistema en local reduce el riesgo de fuga de datos, pero no sustituye a políticas de seguridad. Aprovecha servicios de ciberseguridad y auditoria si trabajas con información altamente sensible. En Q2BSTUDIO ofrecemos servicios especializados en ciberseguridad y pentesting para acompañar proyectos que manejan datos críticos y garantizar el cumplimiento normativo.

Servicios complementarios y cómo te podemos ayudar. Si necesitas una solución a medida para integrar este motor de consulta con tu entorno corporativo, podemos desarrollar la aplicación como servicio o componente dentro de tu plataforma. En Q2BSTUDIO somos especialistas en desarrollo de aplicaciones a medida y software a medida y podemos acompañarte desde la integración del modelo hasta la infraestructura cloud. Conecta la solución privada con despliegues seguros en nube mediante nuestros servicios cloud aws y azure y añade pipelines de inteligencia de negocio y visualizacion con Power BI para explotar los resultados.

Si buscas acelerar un proyecto similar, revisa nuestras capacidades en desarrollo de aplicaciones y software a medida y descubre cómo aplicamos técnicas de Inteligencia Artificial en soluciones empresariales. Ofrecemos consultoria en ia para empresas, agentes IA, servicios inteligencia de negocio y automatizacion de procesos, todo con foco en ciberseguridad y gobernanza de datos.

Conclusión. Montar un Chat con PDF privado y gratuito es totalmente viable hoy con herramientas abiertas como Ollama y LanceDB. Obtener control total, cero coste por uso y privacidad de los datos es posible con una arquitectura local bien configurada. Si quieres que lo implementemos por ti, Q2BSTUDIO puede desarrollar la aplicación, integrarla con tus sistemas cloud y asegurarla con las mejores practicas de ciberseguridad para que tu empresa aproveche la inteligencia artificial sin riesgos.