.jpg)
En este artículo explico cómo construir un buscador de similitud visual multimodal inspirado en una demo creada para SymfonyCon y aplicable a proyectos reales de arqueología digital. Usamos embeddings multimodales de Voyage AI, almacenamiento y búsquedas por vectores en MongoDB Atlas y las utilidades de SymfonyAI para orquestar el proceso. Este enfoque es ideal para proyectos de software a medida que requieren inteligencia artificial aplicada a colecciones históricas, museos o catálogos patrimoniales.
Qué es la búsqueda por vectores y los embeddings. Un embedding es una representación numérica de datos que captura características relevantes en muchas dimensiones. Para imágenes y texto podemos generar embeddings multimodales que combinan la descripción textual con la información visual. Al comparar vectores con algoritmos de similitud podemos encontrar elementos parecidos, por ejemplo una fotografía contemporánea frente a objetos arqueológicos con funciones y materiales similares.
Flujo general de la solución. El proceso principal consta de dos fases: indexado de datos y consulta por similitud. En el indexado se extraen textos e imágenes del catálogo, se generan embeddings multimodales usando el modelo adecuado y se almacenan en MongoDB Atlas con índices de búsqueda vectorial. En la fase de consulta el usuario envía una imagen y/o una descripción, generamos una representación multimodal de esa entrada y realizamos una búsqueda vectorial para devolver las coincidencias más relevantes.
Indexado inteligente con SymfonyAI. SymfonyAI ofrece un componente Store con un Indexer que permite orquestar tres responsabilidades: cargar los datos, vectorizarlos y almacenarlos. Para un catálogo arqueológico es útil combinar todos los campos textuales relevantes en una sola cadena descriptiva y adjuntar una o dos imágenes por registro para crear embeddings multimodales más ricos. Esto mejora la capacidad de reconocer semejanzas tanto semánticas como visuales respecto a usar solo imágenes o solo texto.
Generación de embeddings multimodales. En la práctica usamos un modelo multimodal que acepta texto e imagen en batch para generar vectores de alta dimensión. Estos vectores se guardan en MongoDB Atlas donde antes hemos creado índices de búsqueda vectorial. El resultado es una base de datos que responde consultas por similitud de forma rápida y escalable, ideal para prototipos y para soluciones productivas en la nube.
Mejorando las consultas con descripciones automáticas. Cuando el usuario sube una foto conviene generar una descripción enfocada del objeto en primer plano usando un modelo de lenguaje. Pedir a un modelo que ignore el fondo y se concentre en función, material, color y acabado ayuda a potenciar los puntos de comparación que ya existen en el catálogo. Esa descripción se combina con la imagen para producir el embedding de consulta.
Realizando la búsqueda. Con el vector de consulta listo, ejecutamos una operación de vector search contra el índice de MongoDB Atlas y recuperamos los resultados con sus puntuaciones de similitud. En un entorno con Doctrine ODM o un mapeo documental similar se puede realizar esta agregación desde el backend y devolver al cliente las coincidencias ordenadas por score.
Ejemplo práctico. En la demo original se utilizó un conjunto de objetos hallados durante la construcción de una estación de metro en Amsterdam. Al indexar descripciones y fotografías se pudo subir una imagen contemporánea o escribir una breve descripción temporal y obtener artefactos históricos visual y semánticamente similares. Este mismo patrón aplica a museos, archivos y clientes que necesitan soluciones de búsqueda visual a medida.
Sobre Q2BSTUDIO. En Q2BSTUDIO somos especialistas en desarrollo de software y aplicaciones a medida, con experiencia en inteligencia artificial para empresas, agentes IA y soluciones de business intelligence. Ofrecemos servicios integrales que van desde el diseño y desarrollo de software a medida hasta la integración con servicios cloud aws y azure, pasando por ciberseguridad y pentesting. Si quieres un proyecto como este para tu institución, laboratorio o empresa podemos ayudar a implementarlo y escalarlo siguiendo buenas prácticas de seguridad y rendimiento.
Servicios y palabras clave. Nuestros servicios incluyen aplicaciones a medida, software a medida, inteligencia artificial aplicada, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi. Combinamos experiencia en modelos multimodales con infraestructuras gestionadas y prácticas de seguridad para entregar soluciones útiles y confiables.
Si buscas crear una aplicación similar con foco en colecciones patrimoniales o necesitas un partner para proyectos de inteligencia artificial y desarrollo de aplicaciones, consulta nuestra oferta de desarrollo de aplicaciones a medida y conoce también nuestros servicios de inteligencia artificial. Podemos ayudarte a diseñar, implementar y mantener un buscador multimodal que combine embeddings, MongoDB Atlas y orquestación con frameworks modernos.
Conclusión. La búsqueda por vectores multimodal es una herramienta potente para conectar objetos visuales y descripciones semánticas en proyectos de arqueología digital y más allá. Con una arquitectura que incluya generación de embeddings, almacenamiento vectorial y pasos estratégicos de procesamiento de imágenes y texto, puedes ofrecer una experiencia de búsqueda precisa y escalable. En Q2BSTUDIO transformamos ideas en soluciones de software a medida que integran inteligencia artificial, servicios cloud y garantías de ciberseguridad para proyectos reales.
