No pierdas tiempo con sincronizaciones de datos rotas hazlo bien con Apache SeaTunnel

En esta guía, te mostraremos una solución ligera para la migración y sincronización de datos desde MySQL a OceanBase utilizando Apache SeaTunnel (SeaTunnel). Aprovecharemos su motor integrado Zeta engine, que admite sincronización completa de datos, sincronización incremental offline y Change Data Capture (CDC).

En Q2BSTUDIO, expertos en desarrollo y servicios tecnológicos, implementamos soluciones eficientes para la gestión y migración de datos, asegurando que cada proceso sea optimizado para las necesidades del negocio.

Preparación del Entorno de Ejecución

Antes de comenzar, asegúrate de que tu entorno está listo.

Instalar Java

SeaTunnel requiere Java 8 o superior. Se recomienda Java 8, pero versiones posteriores también deberían funcionar.

Verifica que Java esté correctamente configurado ejecutando:

java -version

Asegúrate de que JAVA_HOME esté correctamente configurado.

Descargar e Instalar Apache SeaTunnel

wget https://dlcdn.apache.org/seatunnel/2.3.9/apache-seatunnel-2.3.9-bin.tar.gz
tar -zxvf apache-seatunnel-2.3.9-bin.tar.gz

Instalación de Plugins de Conectores

El paquete de instalación de SeaTunnel solo contiene el núcleo del framework y el Zeta engine. Para conectar diversas fuentes de datos, es necesario descargar y configurar los plugins requeridos.

Instalación Automática de Plugins

Modifica el archivo de configuración para especificar los conectores necesarios:

connector-cdc-mysql
connector-jdbc
connector-fake
connector-console

Ejecuta el siguiente comando para instalar los plugins:

sh bin/install-plugin.sh 2.3.9

Verificación de la Instalación de SeaTunnel

Para verificar la correcta instalación de SeaTunnel, ejecuta una prueba de procesamiento por lotes:

./bin/seatunnel.sh --config ./config/v2.batch.config.template -m local

Si todo está correctamente configurado, verás una salida indicando el éxito del proceso.

Sincronización Completa de Datos

Para verificar la sincronización completa de datos, se crean tablas de prueba tanto en MySQL como en OceanBase.

Configuración de Sincronización Completa

Se recomienda migrar manualmente los esquemas de tabla para evitar errores.

env {
  parallelism = 5
  job.mode = BATCH
}
source {
    Jdbc {
        url = jdbc:mysql://127.0.0.1:3306/mysql
        driver = com.mysql.cj.jdbc.Driver
        user = usuario
        password = contraseña
        query = select * from base_datos.tabla1
    }
}
sink {
    jdbc {
        url = jdbc:mysql://127.0.0.1:2883/mysql
        driver = com.mysql.cj.jdbc.Driver
        user = usuario
        password = contraseña
        database = base_datos
        table = tabla1
    }
}

Resultados esperados:

Total Read Count: 100000
Total Write Count: 100000
Total Failed Count: 0

Sincronización Incremental

Para la sincronización incremental, se pueden utilizar consultas filtrando por columnas como id o updatetime.

source {
    Jdbc {
        query = SELECT * FROM base_datos.tabla1 WHERE updatetime > '2024-01-01'
    }
}

Se recomienda el uso de Apache DolphinScheduler para obtener valores dinámicos y automatizar la sincronización de datos.

Sincronización CDC (Change Data Capture)

Para habilitar CDC, verifica que el binlog de MySQL esté activo.

Ejemplo de configuración:

source {
  MySQL-CDC {
    base-url = jdbc:mysql://127.0.0.1:3306/mysql
    username = usuario
    password = contraseña
    table-names = [base_datos.tabla1, base_datos.tabla2]
    startup.mode = initial
  }
}

Conclusión

Este artículo detalló la configuración de sincronización de datos de MySQL a OceanBase con Apache SeaTunnel. En Q2BSTUDIO, ayudamos a empresas a optimizar su procesamiento y manejo de datos mediante soluciones escalables y eficientes.

Si necesitas asesoría sobre flujos de datos y herramientas de integración, en Q2BSTUDIO estamos listos para llevar tus procesos al siguiente nivel.