Bases de Datos Vectoriales

Introducción. Un vector es una lista ordenada de números que representa un punto en un espacio de múltiples dimensiones. Por ejemplo, en 2D puede ser 3.5, 7.2 y en 3D 1.2, -4.5, 6.0. En aprendizaje automático, los vectores describen posiciones en espacios de características donde comparamos datos de forma cuantitativa.

Embedding vector. Un embedding es un vector generado por un modelo de embeddings para representar datos complejos como texto, imágenes o audio capturando su significado. Todos los embeddings son vectores, pero no todos los vectores son embeddings. Su dimensionalidad es fija por diseño del modelo, por ejemplo 384 o 512 en modelos ligeros, 768 o 1536 en modelos estándar y 3072 en modelos de alta capacidad. Más dimensiones capturan más matices pero encarecen almacenamiento, cómputo e indexación. La clave es que dos conceptos similares quedan cercanos en el espacio vectorial, como perro y cachorro, mientras que conceptos distintos como perro y coche quedan alejados.

Codificación posicional. En modelos Transformer se añade información de orden a los embeddings para que el significado dependa de la posición. Se suma un vector posicional a cada token, ya sea fijo sinusoidal o aprendido. Una formulación común es PE pos, 2i = sin pos 10000^(2i d_model) y PE pos, 2i+1 = cos pos 10000^(2i d_model. Así, oraciones con las mismas palabras pero distinto orden, como perro muerde a hombre y hombre muerde a perro, producen representaciones diferentes y un significado correctamente contextualizado.

Bases de datos vectoriales. Una base de datos vectorial almacena e indexa embeddings para buscarlos por similitud. Aporta persistencia, operaciones CRUD, filtrado por metadatos, replicación y escalado. Su función estrella es la búsqueda semántica, que encuentra resultados por significado en lugar de solo por coincidencia exacta de palabras, siendo clave en RAG, recomendadores, detección de fraude y más.

Persistencia. En proyectos reales se manejan millones o miles de millones de vectores, por lo que mantenerlos solo en memoria no es viable. La persistencia garantiza que los embeddings y sus índices, como grafos HNSW, sobreviven reinicios y fallos. Se necesitan operaciones de creación, lectura, actualización y borrado, además de durabilidad en disco o almacenamiento distribuido.

Ejemplo de creación de embedding con OpenAI. from openai import OpenAI; client = OpenAI(); response = client.embeddings.create model=text-embedding-3-small, input=The cat sat on the mat; vector = response.data 0 .embedding; len vector devuelve 1536 dimensiones. Este vector puede almacenarse en tu base vectorial para búsquedas futuras.

Ejemplo de inserción en Elasticsearch. PUT documents _doc 1 con campos content The cat sat on the mat y embedding 0.12, -0.87, 0.33 y PUT documents _doc 2 con content The dog chased the ball y embedding 0.91, 0.04, -0.22. En entornos productivos el embedding tendrá cientos o miles de dimensiones y se configurará el mapeo apropiado para knn_vector.

Búsqueda por similitud. La base de datos encuentra los vecinos más cercanos al vector de consulta para habilitar búsqueda semántica, recomendaciones, detección de anomalías y RAG. Las métricas más usadas son similitud coseno para medir el ángulo entre vectores, distancia euclídea para la distancia recta y producto punto, muy práctico con vectores normalizados.

Indexación y ANN. Buscar sin índice es demasiado lento a gran escala. Los índices de vecinos aproximados aceleran drásticamente las consultas a cambio de una ligera pérdida de exactitud. HNSW crea un grafo jerárquico y ofrece consultas rápidas y alto recall con consumo de memoria elevado. IVF agrupa vectores en clústeres y busca en los más relevantes, escalando bien dependiendo de la calidad del clustering. PQ comprime vectores para ahorrar memoria, ideal en miles de millones de elementos con ligera pérdida de precisión. Annoy usa árboles de proyección aleatoria, es simple y eficiente en lecturas con datos estáticos, menos adecuado para muchas actualizaciones. ScaNN está optimizado para datos de alta dimensionalidad con gran velocidad y bajo uso de memoria.

Equilibrios clave. Velocidad frente a memoria, donde HNSW es muy veloz pero consumidor de RAM. Exactitud frente a compresión, donde PQ reduce almacenamiento a costa de precisión. Datos dinámicos frente a estáticos, donde HNSW admite actualizaciones frecuentes y Annoy brilla en catálogos casi inmutables.

Filtrado y metadatos. La similitud pura puede traer resultados poco contextuales. Por eso se combina con filtros estructurados como categoría, fecha o usuario. Por ejemplo, encuentra tickets similares del último mes o recomienda productos de la categoría Zapatos. Cada vector se guarda con metadatos como category electronica, created_at 2025-09-01, user_id 12345. En consulta se filtra primero por metadatos y después se ejecuta la búsqueda vectorial sobre ese subconjunto.

Cómo obtener el vector de consulta. Con un modelo de embeddings, por ejemplo con OpenAI: q = Wireless noise cancelling headphones; emb = client.embeddings.create model=text-embedding-3-small, input=q .data 0 .embedding de longitud 1536. Ese emb se usa en la consulta knn del motor vectorial.

Ejemplo de consulta en Elasticsearch con vector y filtro. Se ejecuta un bool que contiene knn sobre el campo embedding con k igual al número deseado de vecinos y un term category electronics para restringir el dominio de búsqueda. El resultado devuelve los documentos más cercanos semánticamente dentro del filtro aplicado.

Q2BSTUDIO. Somos una empresa de desarrollo de software y aplicaciones a medida con especialización en inteligencia artificial, agentes IA, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio y power bi. Diseñamos arquitecturas de bases de datos vectoriales, pipelines de embeddings, RAG de alto rendimiento, gobernanza de datos y observabilidad MLOps. Si tu organización necesita ia para empresas integrada con tus sistemas, descubre nuestros servicios de IA en soluciones de inteligencia artificial. Si buscas desplegar y escalar índices HNSW, IVF o PQ con alta disponibilidad, podemos ayudarte con plataformas gestionadas y Kubernetes en nubes públicas; conoce nuestros servicios cloud aws y azure para llevar tu búsqueda semántica a producción con seguridad de nivel empresarial y buenas prácticas DevSecOps. También integramos estas soluciones con software a medida y analítica avanzada para que tu equipo potencie la toma de decisiones con datos y productos inteligentes.