Fa menys d'un mes, l'equip de Q2BSTUDIO, empresa especialitzada en desenvolupament i serveis tecnològics, va afrontar un repte que en un primer moment semblava senzill: construir un dashboard de monitoratge en temps real per a una plataforma financera. L'objectiu era clar: cada esdeveniment registrat a DynamoDB havia d'estar disponible immediatament per a la seva anàlisi a OpenSearch, sense demores.
La realitat va ser diferent. Durant la primera demo, el nostre CTO va notar una latència de fins a 5 segons, especialment en moments de trànsit elevat. Al sector financer, aquest marge pot ser crític. Vam identificar que l'enfocament tradicional per lots, amb Lambda executant-se cada 5 segons per processar blocs de dades i enviar-los a OpenSearch, simplement no era suficient.
Aquest enfocament causava múltiples problemes: demores inherents per lotatge, lentitud a les consultes d'OpenSearch i fallades en la fiabilitat perquè si una actualització fallava, es perdia tot el batch. Aviat vam comprendre que era necessari un canvi radical a la nostra arquitectura.
La solució va sorgir després d'investigar més profundament la documentació d'AWS. Vam implementar DynamoDB Streams per capturar cada inserció, modificació i eliminació en temps real. A partir d'aquí, vam crear funcions Lambda que reaccionaven a aquests esdeveniments i enviaven les dades directament a OpenSearch (o Amazon Kinesis Firehose als pics de trànsit) sense la necessitat de lotatges.
A Q2BSTUDIO vam aconseguir reduir la latència de 3-5 segons a menys de 500 mil·lisegons. Aquesta transformació no només va millorar l'eficiència del sistema, sinó que també va augmentar la seva estabilitat i resiliència, eliminant els riscos de fallades totals per lot.
Per mantenir el rendiment fins i tot durant pics de fins a milers d'esdeveniments per segon, vam incorporar Amazon Kinesis Firehose com a buffer intermedi entre Lambda i OpenSearch. Aquest canvi va permetre una escalabilitat automàtica, mantenint la velocitat i continuïtat del pipeline.
Seguim refinant el nostre sistema, traslladant processos de transformació a OpenSearch Pipelines, utilitzant ElastiCache per a consultes freqüents i explorant solucions d'edge computing per millorar l'experiència d'usuaris globals.
A Q2BSTUDIO comprenem que en sistemes en temps real, el repte constant és reduir al mínim la latència. Cada mil·lisegon compta, especialment en entorns crítics com les finances. Per això, ens mantenim a la avantguarda tecnològica per oferir solucions robustes, ràpides i escalables.
I tu? Quines estratègies has provat per afrontar els reptes del temps real? Ens encantaria conèixer les teves experiències.
