En el camp de l'aprenentatge per reforç, la majoria dels benchmarks tradicionals reinicien el món després de cada episodi. Aquesta dinàmica simplifica l' experimentació però s' allunya de la realitat empresarial, on els sistemes operen de forma contínua i les decisions passades condicionen el futur. Per tancar aquesta bretxa, sorgeix MORPHEUS, una plataforma de simulació persistent dissenyada per a l'aprenentatge per reforç continu (CRL). MORPHEUS es fonamenta en la Hipòtesi del Món Gran, que sosté que la complexitat de l'entorn sempre supera la capacitat representacional de qualsevol agent. Com a resultat, l'entorn sembla no estacionari fins i tot quan les seves regles subjacents són fixes. Per forçar l'aprenentatge continu, la plataforma exigeix tres propietats: persistència, no estacionarietat i complexitat operativa. La persistència implica que les decisions prèvies s' acumulen i afecten la dinàmica futura. La no estacionarietat assegura que qualsevol política fixa acabarà sent subòptima. I la complexitat operativa significa que no hi ha una política òptima fixa que es pugui predefinir. Cada entorn a MORPHEUS s'implementa com un plugin autònom a TypeScript, que exporta Descriptors Operacionals (OD), un planificador de simulació, dades llavor i documentació. Un OD defineix el pla d' execució pas a pas per a una capacitat concreta. Els agents actuen a través d'una API de capacitats, i cada trucada dispara l'execució d'un OD.
La no estacionarietat s' introdueix mitjançant dos motors. El primer injecta fallades tipificades entre els passos d'un OD, utilitzant onze tipus de fallada com dades faltants, fallades de dependència o límits de taxa. Aquestes fallades s'apliquen a quatre taxes predefinides: lleugera (5%), realista (8%), moderada (15%) i agressiva (30%). El segon motor és un controlador de canvi de configuració asíncron que modifica les taxes de fallada i la demanda en marques de temps fixes, funcionant de manera independent al bucle d' entrenament. D' aquesta manera s' impedeix que l' agent utilitzi la periodicitat de les actualitzacions com un rellotge proxy. La recompensa que rep l' agent es compon de tres verificadors operatius nadius: senyals d' esdeveniments de fallada, estat del llibre financer i rendiment de recursos. La recompensa composta pondera aquests elements amb pesos per defecte de 0.5 per a fallades i 0.25 per als altres dos. Aquesta mètrica permet avaluar el comportament de l' agent en termes d' eficiència, cost i productivitat.
Atès que l' espai d' accions és extens, entrenar un agent d' aprenentatge per reforç pur des de zero resulta impracticable. Per això, MORPHEUS adopta un pipeline de dues etapes. Primer, un model frontier (Gemini 3.1 Pro) recull trajectòries fent servir el framework ReAct. Aquestes trajectòries serveixen per ajustar un model Qwen3-14B mitjançant aprenentatge supervisat (SFT). A partir d'aquest checkpoint compartit, tots els experiments d'aprenentatge per reforç online utilitzen PPO com a optimitzador base. Aquest enfocament aïlla el comportament d' aprenentatge continu de la competència operativa bàsica, permetent una comparació justa entre algorismes. Per avaluar el rendiment més enllà de la recompensa acumulada, els investigadors proposen sis mètriques: recompensa per configuració, velocitat d'adaptació, oblit, temps de recuperació, estabilitat i bretxa de rendiment. La velocitat d' adaptació és la mètrica principal, mesurant els passos necessaris perquè la mitjana mòbil de la recompensa assoleixi la meitat del límit superior teòric. Complementàriament, s'utilitzen l'avantatge relatiu d'adaptació (RAA) i la plasticitat mesurada per rang efectiu.
Els resultats comparatius entre quatre famílies d'algoritmes (PPO sense mecanisme d'aprenentatge continu, HER amb replay d'experiències passades, EWC amb consolidació de pesos i LCM amb model de context latent) revelen que cap estratègia domina per complet. En la tasca d' assignació dinàmica de recursos amb deriva estructurada, EWC obté la millor recompensa però LCM s' adapta més ràpid. En una segona tasca de planificació amb deriva i efectes retardats, HER assoleix la major recompensa mentre que LCM perd avantatge pel retard del senyal. Les bretxes de rendiment mitjanes se situen prop de 1.0 per a tots els mètodes, indicant un dèficit significatiu a l'estat estable, no un simple ajust fi. És notable que PPO i HER tendeixen a adaptar-se només en la primera configuració i després fallen en règims posteriors, fins i tot sense etiquetes de canvi.
MORPHEUS ofereix casos d'ús molt rellevants per a diferents perfils professionals. Per a enginyers d'intel·ligència artificial, permet provar si un agent detecta canvis de règim sense etiquetes explícites, per exemple quan la demanda passa de baixa a ràfega. Per a científics de dades, planteja el desafiament de l'assignació de crèdit retardada, com succeeix amb l'entrega a temps (OTIF) que només s'observa dies després de la decisió. Per a desenvolupadors de programari, el format de plugin TypeScript facilita intercanviar recompenses o modificar l'observabilitat sense alterar la dinàmica subjacent. Aquest tipus d' entorns persistents reflecteixen amb major fidelitat els sistemes empresarials reals, on no existeixen reinicis i les decisions s' acumulen.
Les fortaleses de MORPHEUS inclouen mons persistents sense reinicis, canvis de règim parametritzables i reproduïbles, i recompenses derivades de verificadors operatius nadius que no requereixen anotació externa. El codi d' avaluació s' ha alliberat en codi obert. Tanmateix, també presenta debilitats: només dos dels cinc entorns disponibles han estat avaluats fins ara, el límit superior teòric assumeix zero fallades i resulta optimista, els canvis són desencadenats externament i no per decisions compostes, i els pesos de la recompensa són variables de recerca no validades en la indústria. Malgrat aquestes limitacions, MORPHEUS representa un pas important cap a benchmarks més realistes per a l'aprenentatge per reforç continu.
Des d' una perspectiva empresarial, la filosofia de MORPHEUS connecta directament amb les necessitats d' organitzacions que operen sistemes complexos sense possibilitat de reinici. Per exemple, en empreses com Q2BSTUDIO, que desenvolupa aplicacions a mida i solucions d'intel·ligència artificial per a empreses, la capacitat d'entrenar agents que s'adapten contínuament a entorns canviants és crucial. A més, la infraestructura que suporta aquests sistemes sol recolzar-se en serveis cloud AWS i Azure, i requereix garanties de ciberseguretat per protegir dades sensibles. Les empreses també poden beneficiar-se de serveis intel·ligència de negoci com power bi per monitoritzar el rendiment d'aquests agents en temps real, complementant les mètriques natives de MORPHEUS. Així mateix, el desenvolupament d ' agents IA personalitzats i programari a mida permet adaptar els algorismes d' aprenentatge a escenaris específics, maximitzant l' eficiència operativa.
En conclusió, MORPHEUS estableix un nou estàndard per a l'avaluació d'algoritmes d'aprenentatge per reforç continu en eliminar els reinicis episòdics i introduir no estacionarietat realista. Tot i que cap algoritme domina encara en totes les tasques, la plataforma proporciona un banc de proves rigorós que acosta la investigació a les condicions del món real. Les empreses que busquin implementar solucions d'intel·ligència artificial adaptativa trobaran a MORPHEUS un marc de referència, i en col·laboracions amb experts en desenvolupament de programari a mida, cloud i ciberseguretat, el camí per traslladar aquests avenços a les seves operacions diàries.
