Intencionalmente construí un sistema de toma de decisiones defectuoso (para que tú no tengas que hacerlo)

Presento un pequeño benchmark que revela modos de fallo silenciosos en pipelines de IA y ML y por qué la ingeniería importa más que los demos espectaculares. En la mayoría de los artículos se muestran buenas prácticas: arquitecturas limpias, abstracciones elegantes y demos impactantes. Yo hice lo contrario: construí a propósito un sistema de IA defectuoso que aparentemente funciona, genera salidas y parece razonable a primera vista, y lo comparé con una versión aburrida y bien diseñada del mismo flujo. El objetivo no fue el rendimiento sino entender cómo los sistemas fallan de forma silenciosa cuando se ignoran principios básicos de diseño.

Tarea: mismo problema, dos implementaciones. Ambos sistemas resuelven exactamente lo mismo: texto de entrada ? extraer palabras clave ? calcular una puntuación ? recomendar una acción. El espacio de acciones es pequeño y deliberado: WAIT_AND_SEE BUY_MORE_STOCK PANIC_REORDER. Mantener la tarea simple nos permite concentrarnos en el comportamiento del sistema, no en la calidad del modelo.

Idea del benchmark: mínimo y directo. Tomar un texto fijo Ejecutarlo varias veces Observar si las salidas se mantienen estables. Por qué importa: un sistema que solo funciona una vez no es un sistema sino una coincidencia. Si la misma entrada produce salidas diferentes, hay un fallo fundamental a nivel de sistema.

Resultados del benchmark: BAD frente a GOOD. Ejecuté la misma entrada cinco veces en ambos sistemas. El sistema BAD escala sus decisiones con el tiempo: Ejecución 1 ? puntuación 14 , acción WAIT_AND_SEE Ejecución 3 ? puntuación 42 , acción BUY_MORE_STOCK Ejecución 5 ? puntuación 74 , acción PANIC_REORDER Mismo input. Mismas palabras clave. Decisiones completamente distintas.

Resumen agregado del benchmark: BAD sistema Ejecuciones 5 Puntuaciones únicas 5 Puntuaciones [14, 28, 42, 58, 74] Acciones únicas 3 GOOD sistema Ejecuciones 5 Puntuaciones únicas 1 Puntuaciones [14, 14, 14, 14, 14] Acciones únicas 1. El sistema GOOD se comporta como una función. El sistema BAD se comporta como una fuga de memoria.

Taxonomía de fallos: cómo se rompe el sistema BAD. El sistema defectuoso no falla de una forma obvia sino que exhibe varios modos de fallo que interactúan, frecuentes en sistemas reales de datos e IA. Nombrarlos facilita detectarlos y evita que lleguen a producción.

1) Deriva. Definición: la salida cambia con el tiempo aun cuando la entrada es idéntica. Causa raíz: acumulación global de puntuaciones entre ejecuciones, estado que crece sin reset. Peligro: la lógica de negocio cambia sin un cambio explícito, el orden histórico de ejecuciones influye en decisiones actuales y los dashboards suelen no detectarlo porque los valores siguen pareciendo razonables. La deriva parece aprendizaje pero no lo es.

2) No determinismo. Definición: entradas idénticas producen salidas distintas. Causa raíz: ruido aleatorio en el scoring o dependencia implícita del historial de ejecución. Peligro: los bugs no se reproducen de forma fiable, las pruebas son inestables, los experimentos A B pierden significado estadístico. Si no puedes reproducir una decisión no puedes depurarla.

3) Estado oculto. Definición: funciones que dependen de datos que no están en su interfaz ni en sus entradas. Causa raíz: variables globales como CURRENT_SCORE , LAST_TEXT o RUN_COUNT. Peligro: el código no se puede entender localmente, el refactorizado cambia comportamiento de forma inesperada y los nuevos desarrolladores introducen regresiones sin querer. El estado oculto convierte cada llamada en un juego de adivinanza.

4) Corrupción silenciosa. Definición: el sistema sigue ejecutándose sin errores mientras sus decisiones empeoran. Causa raíz: ausencia de señales explícitas de fallo, falta de invariantes o comprobaciones de sentido. Peligro: salidas incorrectas se propagan a downstream y los problemas solo se detectan por impacto de negocio. Los fallos ruidosos se corrigen, los silenciosos se despliegan.

Por qué esta taxonomía importa. Estos modos de fallo rara vez aparecen aislados. En el sistema BAD se refuerzan entre sí: el estado oculto permite la deriva, la deriva amplifica el no determinismo y el no determinismo oculta la corrupción silenciosa. Entender estos patrones vale más que corregir un bug aislado porque la misma taxonomía aplica a sistemas mucho mayores y más complejos.

Métrica única: stability_score. Para resumir el comportamiento usé una métrica simple: stability_score = 1 - (unique_scores / runs) donde 1.0 es perfectamente estable y 0.0 completamente inestable. Resultados: sistema BAD ? 0.0 sistema GOOD ? 0.8. Ese número ya te dice qué sistema puedes confiar.

Correcciones mínimas: cuatro parches pequeños que lo cambian todo. No es una reescritura sino cambios quirúrgicos que eliminan clases enteras de fallos sin introducir grandes abstracciones ni frameworks.

Parche 1 Eliminar estado global. Solución: hacer que scoring sea puro y sin efectos globales. Qué arregla: elimina deriva, dependencia histórica oculta y hace la función determinista y testeable. Parche 2 Mover efectos secundarios a los bordes. Solución: que la extracción de palabras clave no haga logging ni IO internamente; los efectos los maneja la capa de orquestación. Qué arregla: la lógica central se vuelve reutilizable, el logging configurable y las pruebas unitarias sencillas. Parche 3 Hacer dependencias explícitas. Solución: pasar cualquier input necesario por parámetros en vez de leer variables globales. Qué arregla: flujo de datos claro, refactor seguro y menos sorpresas. Parche 4 Nombrar los números mágicos. Solución: parámetros y configuraciones documentadas en un objeto de configuración revisable. Qué arregla: las decisiones son explicables, los umbrales son revisables y los cambios intencionales.

Resumen de impacto: estos cuatro parches eliminan estado oculto, reducen el no determinismo, hacen el comportamiento explicable y restauran la confianza en el sistema. No agentes, no frameworks, solo disciplina de ingeniería. Mensaje final: el sistema BAD funciona y ese es el problema porque falla de la forma más peligrosa posible: plausible y silenciosa. El sistema GOOD es aburrido, predecible y fácil de razonar, justo lo que se necesita en producción. Código y reproducibilidad: todo el código y el benchmark están disponibles para quien quiera reproducirlos y aprender de ellos.

En Q2BSTUDIO aplicamos exactamente este enfoque de ingeniería disciplinada cuando desarrollamos aplicaciones y software a medida para clientes que necesitan soluciones confiables. Somos especialistas en inteligencia artificial e ia para empresas, ofrecemos servicios de ciberseguridad y pentesting, y desplegamos infraestructuras escalables en servicios cloud aws y azure. Si necesitas desarrollar una solución robusta y predecible puedes conocer nuestro enfoque en servicios de inteligencia artificial y también trabajamos en proyectos de aplicaciones a medida y software a medida que integran automatización, agentes IA y herramientas de inteligencia de negocio como power bi para apoyar la toma de decisiones.

Palabras clave relacionadas: aplicaciones a medida software a medida inteligencia artificial ciberseguridad servicios cloud aws y azure servicios inteligencia de negocio ia para empresas agentes IA power bi. Si quieres que revisemos tu pipeline o hagamos un benchmark de estabilidad de tus sistemas de IA, en Q2BSTUDIO podemos ayudarte a transformar un sistema que parece funcionar en una plataforma que realmente es fiable en producción.