Presentamos Supabase ETL, una canalización de change data capture que replica tus tablas Postgres a destinos analíticos en tiempo casi real. Supabase ETL lee los cambios de tu base de datos Postgres y los escribe en destinos externos mediante replicación lógica para capturar INSERT, UPDATE, DELETE y TRUNCATE en el momento en que ocurren. La configuración se realiza en minutos desde el Dashboard de Supabase y el proyecto es de código abierto, disponible en github.com/supabase/etl.
Por qué separar OLTP y OLAP: Postgres es excelente para cargas transaccionales como leer un registro de usuario o insertar un pedido. Sin embargo, al escanear millones de filas para análisis, su rendimiento decrece. Sistemas orientados a columnas como BigQuery, o los que usan formatos abiertos como Apache Iceberg, están diseñados para agregaciones masivas, compresión eficiente y consultas analíticas complejas. Supabase ETL permite mantener tu aplicación rápida en Postgres mientras habilita análisis poderosos en plataformas especializadas.
Cómo funciona: Supabase ETL captura cada cambio en Postgres y lo entrega al destino analítico en tiempo casi real. Flujo resumido: creas una publication en Postgres que define las tablas a replicar; configuras ETL para conectar esa publication con un destino; ETL lee los cambios desde la publication a través de un replication slot lógico; los cambios se agrupan y se escriben en el destino; y los datos quedan disponibles para consultas. La canalización inicia con una copia inicial de las tablas seleccionadas y luego pasa a modo streaming, manteniendo el análisis fresco con latencias medidas en milisegundos a segundos.
Configuración desde el Dashboard, sin escribir código. Pasos básicos: 1 Crear una publication en Postgres, por ejemplo create publication analytics_pub for table events, orders, users; o create publication analytics_pub for tables in schema public;. 2 Habilitar la replicación en Database > Replication > Enable Replication en el Dashboard. 3 Añadir un destino con Add Destination y seleccionar el tipo, por ejemplo Analytics Buckets o BigQuery; para Analytics Buckets crea antes un bucket analítico en Storage y configura las credenciales del bucket y la publication, luego haz Create and Start. 4 Monitorizar la canalización desde el Dashboard, donde puedes ver estado, lag y acciones para iniciar, parar, reiniciar o eliminar pipelines.
Destinos disponibles: nuestro objetivo es conectar los sistemas de datos existentes con Supabase y seguimos ampliando destinos soportados. Hoy las opciones oficiales son Analytics Buckets y BigQuery.
Analytics Buckets: son buckets especializados sobre Apache Iceberg, un formato de tablas abierto para grandes conjuntos analíticos. Los datos se almacenan en archivos Parquet en S3 y las tablas se crean con una estructura de changelog. Cada fila incluye una columna cdc_operation que indica si fue un INSERT, UPDATE o DELETE, preservando el historial completo en un formato append only. Se puede consultar con PyIceberg, Apache Spark, DuckDB, Amazon Athena o cualquier herramienta que soporte el Iceberg REST Catalog API.
BigQuery: el data warehouse serverless de Google, pensado para análisis a escala petabyte. Al replicar a BigQuery, Supabase ETL crea una vista para cada tabla y utiliza tablas versionadas subyacentes para soportar las operaciones de manera eficiente; consultas la vista y ETL se encarga de la lógica interna.
Añadir y quitar tablas en producción: puedes modificar la publication tras arrancar la canalización. Para añadir una tabla usa alter publication analytics_pub add table products; y para quitarla alter publication analytics_pub drop table orders;. Tras cambiar la publication reinicia la canalización desde el Dashboard para aplicar los cambios. Nota importante: ETL no elimina los datos del destino cuando quitas una tabla de la publication, esto es intencionado para evitar pérdidas accidentales.
ETL vs read replicas: las read replicas escalan consultas concurrentes sobre Postgres pero siguen siendo Postgres y no aceleran análisis masivos. ETL mueve los datos a sistemas diseñados para analítica, ofreciendo consultas más rápidas sobre grandes volúmenes, menor coste de almacenamiento por compresión y separación total entre la carga de producción y el análisis. Puedes usar ambos enfoques: replicas para escalar lecturas de la app y ETL para análisis.
Limitaciones y notas a tener en cuenta: las tablas deben tener claves primarias por requisito de replicación lógica; las columnas generadas no están soportadas; tipos de datos personalizados se replican como strings; los cambios de esquema no se propagan automáticamente a los destinos; los datos se replican sin transformaciones; durante la copia inicial los cambios se acumulan en el WAL y se reproducen cuando comienza el streaming. Estamos trabajando en soporte para cambios de esquema, más destinos y técnicas de streaming que aumenten flexibilidad y rendimiento.
Precios y acceso: Supabase ETL se oferta por uso: 25 USD por conector al mes y 15 USD por GB de datos de cambio procesados tras el sync inicial, la copia inicial es gratuita. Supabase ETL está en alpha privada; solicita acceso a través de tu account manager o mediante el formulario en el Dashboard. El framework es de código abierto y está escrito en Rust, repositorio en github.com/supabase/etl.
Sobre Q2BSTUDIO: en Q2BSTUDIO somos una empresa de desarrollo de software especializada en aplicaciones a medida y software a medida, con experiencia en inteligencia artificial, ciberseguridad y servicios cloud. Ofrecemos soluciones integrales de servicios cloud aws y azure, servicios inteligencia de negocio y desarrollo de agentes IA y soluciones de ia para empresas. Si buscas crear aplicaciones empresariales escalables y seguras, podemos ayudarte a integrar pipelines ETL, arquitecturas analíticas y dashboards con tecnologías como power bi para visualización y toma de decisiones, así como desplegar en la nube con nuestros servicios cloud aws y azure integrales en servicios cloud aws y azure.
Contacta con Q2BSTUDIO para evaluar cómo integrar Supabase ETL en tu arquitectura, mejorar rendimiento analítico, simplificar pipelines de datos y aprovechar inteligencia artificial y ciberseguridad para proteger y potenciar tus proyectos. Palabras clave: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA, power bi.
.jpg)