La manipulació de preus en els mercats financers és un dels grans reptes regulatoris i tecnològics de l'última dècada. Detectar o executar estratègies que influeixen artificialment en el preu d'un actiu no és una tasca trivial: exigeix modelar dinàmiques de mercat, restriccions de liquiditat i el comportament d'altres agents. Un estudi acadèmic recent planteja una pregunta provocadora: pot un agent d'aprenentatge per reforç descobrir estratègies de manipulació de preus sense conèixer el model subjacent? La resposta, matisada, té implicacions rellevants per al desenvolupament de programari financer, la intel·ligència artificial i la supervisió automatitzada dels mercats.
En la pràctica, la manipulació no sempre és il·legal en termes formals, però va en contra del preu just i del bon funcionament dels mercats. Avui la regulació MiFID II i altres marcs exigeixen vigilància contínua. Les institucions necessiten tecnologia capaç d'identificar conductes anòmales en sèries de preus i ordres, abans que es converteixin en pèrdues o sancions. Aquí és on els enfocaments d'aprenentatge automàtic, i en especial l'aprenentatge per reforç, comencen a jugar un paper central.
L'estudi de referència utilitza el marc d'Almgren-Chriss, un estàndard en la literatura d'impacte de mercat. En la seva versió original, aquest model descriu com les ordres grans afecten el preu en funció de la velocitat d'execució i de l'inventari acumulat. La versió analitzada incorpora un impacte permanent no lineal i un impacte temporal lineal. Aquesta configuració permet estudiar si existeixen estratègies d'anada i tornada, conegudes com a round-trip, que es beneficien de la pròpia petjada de preu. Sota informació completa, els autors calculen l'estratègia manipulativa òptima mitjançant programació seqüencial quadràtica amb mínims quadrats, un mètode numèric robust. Aquesta referència serveix per comparar el comportament dels algoritmes d'aprenentatge.
El problema real és que un operador mai no disposa d'informació completa. Els paràmetres del model s'han d'estimar a partir de dades passades, i aquesta estimació sempre conté soroll. La pregunta clau és si un algoritme d'aprenentatge no supervisat per un model, com ho és l'agent RL basat en Deep Deterministic Policy Gradient, pot descobrir manipulacions fins i tot quan treballa amb les mateixes dades limitades que un enfocament paramètric. L'article mostra que en contextos de volatilitat intermèdia l'agent RL troba oportunitats manipulatives i supera l'enfocament clàssic, tot i que el clàssic parteix de l'especificació correcta del model. Això és una troballa rellevant: l'error de mostreig pot ser més perjudicial que la ignorància estructural del model.
Des d'una perspectiva tècnica, el resultat no és sorprenent. L'algoritme DDPG combina una xarxa d'actor i una xarxa de crític, i aprèn polítiques contínues optimitzant la recompensa esperada. A diferència dels mètodes basats en model, no necessita construir una representació explícita del mecanisme d'impacte. En lloc d'això, extreu patrons de les transicions d'estat, acció i recompensa. Si el senyal de volatilitat permet distingir l'impacte permanent del temporal, l'agent pot explotar diferències subtils que un model mal calibrat no arriba a capturar.
La volatilitat juga un paper crític. Quan és baixa, els preus es mouen poc i l'agent RL no disposa de prou variabilitat per aprendre; el model paramètric guanya perquè la seva estructura és correcta. Quan és alta, el soroll domina i cap metodologia identifica la manipulació. En el punt intermedi, RL demostra una flexibilitat molt valuosa: és capaç d'adaptar-se a règims on una estimació paramètrica amb poques dades produiria decisions subòptimes. Aquesta conclusió és directament aplicable a entorns empresarials amb dades limitades, com ara mercats emergents o actius poc líquids.
A més de l'aprenentatge, l'estudi convida a reflexionar sobre els riscos de desplegar agents autònoms en entorns financers. Un agent RL entrenat per maximitzar un objectiu pot descobrir estratègies agressives o manipulatives que l'organització no havia previst. Això subratlla la necessitat d'incloure salvaguardes algorítmiques, límits de risc i monitorització contínua. En aquest punt, la ciberseguretat és tan important com la pròpia estratègia: cal protegir l'entorn d'entrenament, evitar atacs adversarial i garantir que l'agent no pugui accedir a informació privilegiada.
Les empreses que construeixen programari per a trading i vigilància de mercats han de prestar atenció a aquesta línia de recerca. La combinació de models estadístics clàssics i agents de RL pot donar lloc a sistemes de decisió més robustos que qualsevol dels dos enfocaments per separat. Per exemple, un sistema híbrid podria utilitzar un model paramètric per establir límits d'exposició i un agent RL per proposar estratègies d'execució dins d'aquests límits. També es poden utilitzar els resultats del RL per generar senyals d'alerta sobre comportaments manipuladors en mercats electrònics.
A Q2BSTUDIO ajudem les nostres entitats a incorporar aquest tipus de lògica avançada mitjançant el desenvolupament d'aplicacions a mida que integren machine learning, processament de dades en temps real i APIs de mercat. El nostre equip treballa també en el disseny d'agents d'IA capaços de prendre decisions en entorns incerts, sempre amb un enfocament d'enginyeria que prioritza la traçabilitat i la supervisió humana.
La infraestructura tecnològica és una altra peça clau. Aquests sistemes requereixen entorns escalables al núvol per entrenar models i executar simulacions. Les solucions cloud AWS i Azure permeten desplegar entorns d'entrenament distribuït, emmagatzemar sèries temporals i gestionar la governança de les dades. Al seu torn, la supervisió dels agents necessita quadres de comandament analítics; en aquest sentit, Business Intelligence amb Power BI facilita la interpretació de les mètriques de rendiment, l'evolució de l'error d'estimació i les alertes generades pels sistemes de control.
L'estudi original no defensa que el RL hagi de substituir els mètodes tradicionals en totes les circumstàncies. Més aviat suggereix que l'elecció de la tècnica ha de dependre del règim de volatilitat, de la qualitat de les dades i del cost d'equivocar-se. En mercats amb soroll moderat i dades limitades, l'aprenentatge per reforç ofereix un avantatge competitiu real. En escenaris de baixa volatilitat, un model paramètric ben especificat continua sent difícil de superar. I en entorns d'alta volatilitat, la prudència s'hauria d'imposar abans que l'automatització.
Una altra lectura important és la necessitat d'experimentació controlada. Abans de posar un agent RL en producció, convé reproduir les condicions de l'estudi: comparar contra un benchmark informat, mesurar l'error d'estimació i sotmetre l'agent a proves d'estrès. No n'hi ha prou que la política apresa sigui rendible en simulació; cal entendre per què ho és. L'explicabilitat, encara que difícil en xarxes profundes, es pot aproximar mitjançant anàlisi de sensibilitat i atribució de recompenses. Aquesta és una de les àrees on el programari a mida i la consultoria tecnològica aporten valor real.
En definitiva, la pregunta de si l'aprenentatge per reforç pot descobrir manipulació de preus té una resposta afirmativa en condicions concretes. L'estudi amb el marc d'Almgren-Chriss demostra que un agent sense coneixement explícit del model pot identificar oportunitats manipulatives i, a més, superar un enfocament paramètric quan els paràmetres s'estimen amb soroll. Aquesta conclusió hauria d'animar els equips d'innovació de bancs, brokers i fintechs a explorar agents RL, però també a exigir estàndards més alts de seguretat, auditoria i visualització dels models. La tecnologia, ben governada, pot estar al costat de la integritat dels mercats.
