L'auge dels agents intel·ligents ha transformat la forma en què les empreses despleguen models de llenguatge de gran escala (LLM). Ja no es tracta només d'atendre consultes humanes en xats, sinó de gestionar fluxos automatitzats on cada sol·licitud prové d'un altre sistema, no d'una persona. Aquest canvi de paradigma exigeix repensar la planificació (scheduling) de les peticions, perquè els criteris que funcionaven per al tràfic humà resulten ineficients quan la majoria de les peticions comparteixen gran part del seu context (KV-cache) i la latència per token deixa de ser l'única mètrica rellevant. Aquí és on entra SMetric, un enfocament novedós que equilibra la càrrega del clúster sense sacrificar la reutilització de caixet, i que té implicacions directes per a qualsevol arquitectura d'intel·ligència artificial orientada a agents.
El desafiament de planificar per a agents
Quan els usuaris finals escriuen en un xat, cada conversa sol ser curta i amb poca superposició temàtica. Però un agent IA (per exemple, un assistent que automatitza una cadena de processos empresarials) llança desenes de sol·licituds gairebé idèntiques, variant només algun paràmetre intern. Això genera un alt nivell de reutilització del KV-cache: fins al 80% dels tokens en una traça real poden ser compartits entre peticions d' una mateixa sessió. Els planificadors tradicionals, dissenyats per maximitzar aquesta reutilització, envien totes les peticions relacionades amb el mateix node. El resultat és un desequilibri brutal: alguns servidors se saturen mentre d'altres estan infrautilitzats. El rendiment en tokens per segon (TPS) del clúster se'n ressent.
La proposta de SMetric: equilibri sense renunciar a la reutilització
L'equip darrere de SMetric va identificar dues palanques clau. Primera: l'existència d'un magatzem global de KV-cache (global-tier KV store) permet compartir context entre nodes, tot i que amb una penalització de latència. Segona: en les sessions d' agents, la primera petició de cada sessió determina bona part del balanç de càrrega, perquè les següents es beneficiaran de la localitat intra-sessió. SMetric proposa un planificador "centrat en sessions": la primera sol·licitud de cada sessió es dirigeix purament per equilibrar la càrrega (round-robin o similar), mentre que les subseqüents s'envien al mateix servidor on ja es va calcular el catxet. D' aquesta manera es manté la reutilització local en la majoria de les peticions, s' evita saturar un sol node i es conserva la demanda sobre el magatzem global en nivells acceptables.
Mètrica de planificació: el torn de sessió
El més interessant és que SMetric fa servir com a mètrica el "torn de sessió" (session turn), que s'extreu directament de les dades d'entrada de l'usuari, sense necessitat d'estats addicionals. Això permet que el planificador sigui lleuger, sense memòria d' estats previs, i escalable horitzontalment. En una arquitectura d'inferència desagregada (prefill i decode separats), SMetric millora el TPS de prefill entre un 2% i un 34% enfront dels planificadors estat de l'art. En configuracions amb prefill-decode col·locació i magatzem global, la millora és del 10% al 16%.
Implicacions empresarials i tècniques
Per a les empreses que estan integrant agents IA en els seus fluxos de treball, aquest avenç és crucial. Ja no n'hi ha prou amb tenir un LLM potent; cal gestionar la infraestructura de forma eficient. Un planificador intel·ligent com SMetric pot reduir dràsticament els costos de còmput i millorar l'experiència dels processos automatitzats. Des de la perspectiva d'una companyia que desenvolupa ja per a empreses, aquestes optimitzacions permeten oferir solucions més ràpides i econòmiques als clients. Per exemple, en un sistema d'atenció al client basat en agents, cada segon de millora es tradueix en menys latència i més satisfacció.
Més enllà de la planificació: infraestructura completa
Per implementar solucions d' aquest tipus, les empreses necessiten una base sòlida en serveis cloud i desenvolupament de programari a mida. No és només qüestió de triar el LLM correcte, sinó de dissenyar tota l'arquitectura. La nostra experiència en serveis cloud aws i azure ens ha ensenyat que la gestió de la caixet distribuïda, l'orquestració de contenidors i el balanceig de càrrega són determinants. A més, la ciberseguretat no es pot descuidar: els agents que manegen dades sensibles requereixen protecció contra accessos no autoritzats i fuites d'informació. Un planificador com SMetric, en dependre d'un magatzem global de caixet, ha d'implementar controls d'accés granulars.
El paper de la intel·ligència de negoci
Un altre angle és el monitoratge del rendiment. Amb l'adopció d'agents IA, les mètriques tradicionals com el temps mitjà de resposta ja no n'hi ha prou. Els equips d'operacions necessiten eines de serveis intel·ligència de negoci per visualitzar la taxa d'encerts de caixet, la distribució de càrrega i els colls d'ampolla. Power BI, per exemple, pot integrar-se amb els logs d'inferència per generar dashboards en temps real. Combinar un planificador intel·ligent amb una capa de BI permet a les empreses ajustar dinàmicament els seus clústers.
Desenvolupament d' aplicacions a mida per a agents
Moltes organitzacions opten per aplicacions a mesura que integrin assistents virtuals en els seus processos de negoci. Aquestes aplicacions requereixen un backend robust que gestioni sessions, cues de peticions i emmagatzematge de context. SMetric encaixa perfectament en aquest ecosistema perquè ofereix un equilibri entre eficiència i simplicitat. En dissenyar programari a mida per a clients, tenim la flexibilitat d'implementar planificadors personalitzats que aprofitin la reutilització de caixet sense penalitzar l'escalabilitat.
Agents IA i automatització de processos
El concepte d' agents IA va més enllà dels chatbots: abasta assistents que executen tasques complexes com l' extracció de dades, la generació d' informes o la coordinació d' APIs. En aquests escenaris, cada sol·licita pot disparar una cadena de peticions internes. Un planificador que no estigui dissenyat per a aquest patró col·lapsa sota pressió. SMetric demostra que amb un enfocament "sessió-cèntric" es pot duplicar l'eficiència sense necessitat de maquinari addicional. Això és especialment rellevant per a pimes que volen adoptar intel·ligència artificial sense incórrer en costos desorbitats.
Reflexió final
La investigació presentada en els treballs sobre SMetric no és un experiment de laboratori: està basada en traces reals de producció d' un proveïdor de serveis LLM com BAILIAN. Les millores observades són tangibles i replicables. Per a qualsevol equip d'enginyeria que estigui construint infraestructura d'inferència, la lliçó és clara: planificar pensant en agents, no en humans. En Q2BSTUDIO, com a empresa especialitzada en desenvolupament de programari i tecnologia, entenem que l'excel·lència operativa en IA passa per aquestes optimitzacions de baix nivell. Ja sigui que necessitis implementar un planificador personalitzat, migrar les teves càrregues de treball al núvol o desenvolupar aplicacions a mida amb intel·ligència artificial integrada, comptem amb l'experiència tècnica per fer-lo realitat. Perquè la pròxima frontera de la productivitat empresarial està en els agents, i el seu rendiment depèn de com els planifiquem.
.jpg)
.jpg)
