Resumen
Este artículo ofrece una guía práctica y detallada para desplegar OpenMetadata en Azure Kubernetes Service con almacenamiento en Azure NetApp Files y bases de datos externas PostgreSQL y OpenSearch gestionadas por NetApp Instaclustr. El objetivo es proporcionar un entorno robusto para descubrir, catalogar y gobernar datos, facilitando iniciativas de inteligencia artificial e inteligencia de negocio en empresas de cualquier tamaño.
Introducción
En la era del dato, las organizaciones necesitan identificar y gestionar activos de información distribuidos en múltiples sistemas para aprovechar proyectos de inteligencia artificial e IA para empresas. OpenMetadata centraliza el catálogo de metadatos, mejora la visibilidad de los datos, facilita la colaboración, el linaje y la gobernanza, aspectos clave para iniciativas de IA y machine learning.
Requisitos previos
Para seguir esta guía se requiere una cuenta de Azure con permisos para crear AKS y Azure NetApp Files, una cuenta de NetApp Instaclustr con permisos para crear bases de datos, y una estación de trabajo con Git, Azure CLI, kubectl, helm y Terraform instalados. También es útil tener experiencia básica en Terraform, Kubernetes y helm para adaptar configuraciones.
Preparación del entorno
Clonar el repositorio con el código Terraform y los valores helm permite automatizar la creación de la infraestructura. Verificar y adaptar los archivos de variables para cada entorno, por ejemplo producción y desarrollo, y crear workspaces de Terraform si es necesario. Ajustar credenciales para la cuenta de Azure y la API de Instaclustr, y revisar parámetros de red y tamaños de recursos según los requisitos de rendimiento.
Variables y configuración
El archivo de variables contiene ajustes para credenciales, región de Azure, parámetros de Instaclustr, rangos de red, versiones de Kubernetes, y tamaños de nodos y pools de Azure NetApp Files. Es importante personalizar las entradas de redes virtuales para evitar solapamientos y configurar usuarios y claves en Instaclustr para PostgreSQL y OpenSearch.
Aspectos de red y seguridad
Configurar correctamente las VNet y subredes, autorizar rangos de IP que necesitarán acceso y planear peering entre la red del AKS y las VNets de Instaclustr asegura comunicaciones privadas entre componentes. Para entornos de producción se recomienda habilitar SSL y mecanismos de autenticación adicionales.
Despliegue de la infraestructura
Con las variables ajustadas, ejecutar el plan y apply de Terraform crea el cluster AKS, los volúmenes de Azure NetApp Files, y las instancias gestionadas de PostgreSQL y OpenSearch en Instaclustr. Tras la provisión, Terraform devuelve los endpoints y credenciales provisionales que se usan para configurar los secretos en Kubernetes y las conexiones en OpenMetadata.
Despliegue de la aplicación
Instalar las dependencias de OpenMetadata (incluyendo Airflow) y a continuación desplegar OpenMetadata con helm permite que la plataforma use los servicios externos de base de datos y búsqueda. Crear los secretos Kubernetes con las credenciales de PostgreSQL y OpenSearch y asegurarse de que los persistent volumes están enlazados al almacenamiento Azure NetApp Files.
Uso de OpenMetadata
Una vez desplegado, el equipo puede acceder a la interfaz web, iniciar sesión con credenciales administradoras iniciales y comenzar a añadir servicios y pipelines de ingestión. Conectar el servicio de PostgreSQL gestionado por Instaclustr como ejemplo, probar la conexión y desplegar una ingestión para que Airflow capture metadatos y los indexe en OpenSearch.
Agregar servicios y ejecutar ingestas
OpenMetadata permite integrar una amplia variedad de servicios de datos y tiene plantillas para configuraciones específicas. Crear una nueva conexión de base de datos, validar que las consultas de prueba devuelven éxito y programar ingestas periódicas garantiza que el catálogo se mantenga actualizado. El resultado es un catálogo de datos consultable y con linaje que potencia análisis y modelos de IA.
Limpieza y eliminación
Para entornos temporales o de prueba, documentar el procedimiento de desmantelamiento facilita eliminar recursos con orden, desinstalando helm releases, borrando namespaces y destruyendo la infraestructura con Terraform para evitar costes innecesarios.
Beneficios y recomendaciones
La combinación de OpenMetadata en AKS con Azure NetApp Files y bases de datos gestionadas por Instaclustr ofrece alto rendimiento, persistencia y facilidad de operación. Recomendamos para producción configurar SLA y replicación adecuada en PostgreSQL y OpenSearch, habilitar SSL y revisar políticas de backup y recuperación.
Sobre Q2BSTUDIO
Q2BSTUDIO es una empresa de desarrollo de software que crea soluciones adaptadas a las necesidades de cada cliente, con experiencia en aplicaciones a medida y software a medida, servicios de inteligencia artificial y agentes IA, además de ciberseguridad y servicios cloud. Nuestro equipo diseña e implementa plataformas de datos y catálogos de metadatos que aceleran proyectos de IA y Business Intelligence. Si necesita una solución de aplicaciones personalizadas puede conocer nuestros servicios de desarrollo en la landing de aplicaciones a medida visitando aplicaciones a medida y si requiere soporte en la nube para desplegar infraestructuras en Azure o AWS consulte servicios cloud aws y azure.
Palabras clave y posicionamiento
Este contenido está optimizado para términos relevantes como aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi, con el objetivo de mejorar la visibilidad de Q2BSTUDIO en búsquedas relacionadas con soluciones avanzadas de datos y desarrollo de software personalizado.
Conclusión
Desplegar OpenMetadata en AKS respaldado por Azure NetApp Files y bases de datos gestionadas por Instaclustr facilita la gobernanza de datos, mejora la colaboración entre equipos y aporta una base sólida para iniciativas de IA y BI. Q2BSTUDIO puede acompañar en cada fase del proyecto, desde la arquitectura cloud hasta la integración de agentes IA y visualización con herramientas como power bi, asegurando un resultado alineado con los objetivos de negocio.
Recursos adicionales
Para más información sobre diseño de soluciones de inteligencia artificial y servicios gestionados, consulte nuestras páginas de inteligencia artificial y Business Intelligence para explorar cómo potenciar sus datos y convertirlos en valor accionable.
.jpg)
.jpg)
.jpg)