La Bicho: ¿Cómo una falta de índice en la base de datos nos costó verdaderos dineros

La Bicho: ¿Cómo una falta de índice en la base de datos nos costó verdaderos dineros

Eran las 3 de la madrugada cuando mi teléfono explotó de notificaciones. Nuestro panel de IoT dejó de responder. Más de 500 dispositivos dejaron de reportar datos, los clientes llamaban a soporte y la factura cloud subía más rápido que mi ritmo cardiaco. La causa: un índice de base de datos que nunca creamos. Esta es la historia de cómo una optimización olvidada nos costó aproximadamente 10000 USD en infraestructura, horas de trabajo y confianza con un cliente nuevo.

Tres meses en mi puesto en una empresa de IoT, acabábamos de integrar a un cliente grande, una cadena de edificios inteligentes con 200 dispositivos en varias ubicaciones. En pruebas con 50 a 100 dispositivos todo iba bien. Los tiempos de respuesta eran aceptables y no hubo señales de alarma. Lanzamos a producción confiando en que todo funcionaría. Gran error.

El cliente entró en producción un viernes por la tarde. Durante las primeras horas todo parecía correcto. Al cabo de cuatro horas empezaron las alertas: tiempos de respuesta de la API aumentando a 500 ms, luego 1000 ms, luego 2000 ms. La CPU de la base de datos subió hasta 90 por ciento. La memoria empezó a intercambiar a disco. La factura de AWS mostraba ya 300 USD por el día cuando lo normal era 20 USD diarios.

Al revisar el perfilador de consultas descubrimos lo inimaginable. Una consulta simple que pedía lecturas por dispositivo y rango de tiempo se estaba ejecutando miles de veces por minuto y cada ejecución tardaba entre 3 y 5 segundos. En la explicación de ejecución aparecía COLLSCAN, lo que significa que el motor revisa cada documento de la colección porque no tiene un índice que lo guíe. Estábamos escaneando millones de documentos para devolver unos pocos cientos de registros. Con 50 dispositivos y pocos miles de lecturas había pasado desapercibido. Con 200 dispositivos y millones de lecturas fue un desastre en cascada.

El patrón era el siguiente: el usuario abre el panel, el frontend solicita datos de las 20 unidades visibles, el backend lanza 20 consultas, cada consulta realiza un escaneo de millones de documentos, la CPU se dispara al 100 por ciento, las consultas se encolan, los tiempos de respuesta se disparan a decenas de segundos, los usuarios refrescan impacientes y se generan aún más consultas. Todo se paraliza.

La solución fue humillantemente simple y eficaz. Creamos un índice compuesto sobre deviceId y timestamp ordenado de forma descendente. El índice se construyó en producción en unos 12 minutos sobre millones de documentos. En segundos los indicadores cambiaron: el tiempo de consulta pasó de varios segundos a decenas de milisegundos, la CPU de la base de datos cayó de 95 por ciento a cerca de 12 por ciento y las respuestas de la API volvieron a tiempos aceptables. Las quejas de clientes se detuvieron casi de inmediato.

Impacto económico y operativo aproximado: costos directos por infraestructura adicional 2800 USD durante el fin de semana, escalado de emergencia de instancias de base de datos 1200 USD, tiempo de guardia de desarrolladores aproximadamente 3000 USD. Total directo aproximado 7000 USD. Costos indirectos: soporte al cliente 10 horas, investigación de ingeniería 16 horas, reputación con el nuevo cliente afectada y un aprendizaje caro.

En Q2BSTUDIO, empresa dedicada al desarrollo de software a medida, aplicaciones a medida, inteligencia artificial y ciberseguridad, utilizamos esta experiencia para reforzar buenas prácticas en proyectos reales. Si necesitas diseñar una plataforma que escale correctamente desde el primer día podemos ayudarte con servicios cloud y arquitectura robusta. Conoce nuestros proyectos de aplicaciones a medida y cómo diseñamos soluciones que evitan estas sorpresas.

Lecciones prácticas que aprendimos y aplicamos en Q2BSTUDIO: probar con datos a escala de producción y con cargas realistas, perfilar consultas antes de desplegar, crear índices que reflejen los patrones de consulta en lugar de campos al azar, monitorizar métricas de base de datos desde el primer día y configurar alertas de facturación cloud para evitar sorpresas en AWS o Azure. Para proyectos en la nube ofrecemos asesoría en servicios cloud aws y azure que incluyen optimización de bases de datos y control de costes.

Checklist rápido para evitar el mismo error: perfilar las consultas críticas, revisar explain y evitar COLLSCAN, medir docs examinados frente a registros devueltos, alertar cuando el tiempo de consulta supere 100 ms en caminos críticos, y siempre indexar los patrones de consulta más comunes como exact match seguido de rango temporal.

Palabras clave que guían nuestro trabajo: aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA y power bi. Si te interesa mejorar rendimiento, reducir costes cloud y aprovechar inteligencia de negocio como Power BI para visualizar métricas operativas, en Q2BSTUDIO podemos ayudarte a diseñar la arquitectura correcta desde el inicio.

Moraleja final: lo que funciona en un entorno de pruebas pequeño puede fracasar en producción a gran escala. Un índice faltante puede costar miles de dólares y horas de trabajo. Optimizar no es prematuro cuando sabes que vas a escalar. Y quizá, tal vez, evita desplegar grandes cambios un viernes por la tarde.