Datadog Replanteado: Pensar Simple en Agentes, Pipelines e Índices

Esta es la Parte 2 de 3 de la serie Lentes. En Parte 1 presenté la Lente de Presentación, es decir, cómo Datadog devuelve los datos a las personas usuarias.

Datadog reúne muchos productos y componentes: agentes, librerías de trazas, SDKs de RUM, integración con AWS, pipelines de logs, filtros de retención y más. No siempre es fácil recordar cómo encaja todo.

Ahí entra la idea de Lentes. En el artículo anterior introduje este modelo mental y me centré en la Lente de Presentación. Ahora pasamos a la segunda: la Lente de Colección.

Lente de Colección

Un lente no trata sobre un producto completo, sino sobre la parte de su funcionalidad que cumple un rol específico. La Lente de Colección describe cómo los datos llegan a Datadog: cubre las capacidades que reúnen, refinan y moldean las señales antes de almacenarlas y mostrarlas.

Pienso la colección de datos en tres fases: Ingesta, Enriquecimiento y Reducción.

Fase 1 Ingesta

Responsabilidad: llevar señales desde tus sistemas hasta Datadog.

Ejemplos: el Datadog Agent en hosts y contenedores, librerías de trazas dentro de aplicaciones, Lambda Forwarder, SDKs de RUM, integración con AWS, bots sintéticos, ubicaciones privadas, Workflow Automation cuando se usa para recopilar datos, o llamadas a la API personalizadas.

Por qué importa: sin ingesta no hay observabilidad. Estos componentes viven cerca de tus sistemas y son el primer punto de contacto de tu telemetría.

Fase 2 Enriquecimiento

Responsabilidad: ajustar la telemetría para que lleve el contexto correcto, añadiendo lo que falta y retirando lo que no corresponde.

Ejemplos: pipelines de logs, pipelines de eventos y Sensitive Data Scanner, que elimina credenciales o datos personales para que solo permanezca el contexto útil.

Por qué importa: la telemetría sin contexto es ruido. El enriquecimiento hace que los datos sean accionables añadiendo contexto y, con herramientas como Sensitive Data Scanner, los mantiene seguros y limpios al quitar detalles innecesarios. Resultado: datos completos, relevantes y confiables.

Fase 3 Reducción

Responsabilidad: gestionar volumen y coste filtrando, muestreando o transformando datos.

Ejemplos: índices de logs, generate metrics, filtros de retención en APM y RUM, y configuraciones de etiquetas para métricas.

Por qué importa: recopilar todo para siempre suena ideal, pero casi nunca es viable. Las funciones de reducción te dan palancas para controlar escala y presupuesto sin perder las señales esenciales.

Trade off: toda reducción implica pérdida de fidelidad. El arte está en reducir con inteligencia, sin recortar las señales que necesitarás después.

Por qué ayuda este modelo

Si miras por nombres de producto, piezas como pipelines, índices o SDKs pueden parecer dispersas. Con la Lente de Colección, todo se vuelve un flujo sencillo: ingesta -> enriquecimiento -> reducción.

Esto también clarifica prioridades: ingesta y enriquecimiento son esenciales, hacen posible la observabilidad. La reducción es opcional, es el conjunto de ajustes para mantener los datos útiles y asequibles.

En lugar de preguntar qué producto hace qué, pregúntate qué datos necesitas para saber que tu sistema está saludable y para encontrar la causa raíz cuando no lo está. Con esa respuesta, eliges qué capacidades de ingesta, enriquecimiento y reducción activar.

Ideas finales

Este es el segundo artículo de la serie Lentes. Ya cubrimos Presentación y Colección, es decir, cómo se muestran los datos y cómo entran. Lo siguiente es la Lente de Ejecución, centrada en cómo Datadog actúa sobre tus sistemas. Será más breve, pero completa el mapa.

Nos encantará conocer tu experiencia y si la Lente de Colección te ayuda a navegar Datadog con más claridad.

Cómo te ayudamos desde Q2BSTUDIO

En Q2BSTUDIO somos una empresa de desarrollo de software y aplicaciones a medida que diseña y opera arquitecturas de observabilidad pensadas para negocio. Integramos Datadog con tus cargas en la nube, optimizamos pipelines de logs y eventos, definimos filtros de retención y estrategias de etiquetado, y automatizamos la gobernanza de telemetría para equilibrar insight y coste. Nuestro equipo combina software a medida, inteligencia artificial e ia para empresas, ciberseguridad, servicios inteligencia de negocio y power bi, además de expertos en agentes IA.

Si estás desplegando o escalando observabilidad sobre infraestructuras en la nube, podemos acompañarte con nuestros servicios cloud en AWS y Azure para diseñar entornos resilientes, seguros y eficientes. Y si quieres llevar el análisis y correlación de señales un paso más allá, aplicamos modelos y técnicas de inteligencia artificial para acelerar detección de anomalías, priorización de alertas y respuesta automatizada.

Palabras clave que definen lo que hacemos: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi. Si buscas un socio que una tecnología y valor de negocio en tu observabilidad, hablemos.