A Q2BSTUDIO, empresa líder en desenvolupament i serveis tecnològics, hem explorat l'ús de Models de Llenguatge de Gran Escala (LLM) dins de Salesforce i el resultat ha estat el desenvolupament d'un component innovador. Aquest component integra una interfície de xat capaç d'utilitzar registres de Salesforce com a context, funcionant completament de manera local a l'equip de l'usuari, cosa que garanteix la privacitat de les dades sense dependre de serveis de tercers.
El concepte d'agents a Salesforce, com Agentforce, ens va inspirar a desenvolupar aquest assistent. Mentre els agents poden prendre decisions i executar accions, els assistents processen informació de manera reactiva. Tot i que considerem possible construir un agent local amb Pico LLM, implicava un esforç substancial. Per això, vam decidir centrar-nos en un assistent eficient i integrat.
Característiques principals:- Compatibilitat amb múltiples models. Suporta qualsevol model de codi obert de Pico, com Gemma, Llama o Phi, depenent de la memòria RAM disponible al dispositiu.
- Accés a registres individuals. En estar a una pàgina de registre, el component obté context basat en els valors dels camps.
- Ús de registres relacionats. Permet consultar informació addicional de registres relacionats per enriquir les respostes.
- Configuració en temps real. La configuració del component és dinàmica i permet ajustar paràmetres com límit de tokens, temperatura i top P.
El funcionament des de la perspectiva de l'usuari és simple: es puja un model, se selecciona un missatge de sistema, s'escullen registres de Salesforce, s'introdueix la consulta i es generen respostes en temps real.
Pico LLM permet l'execució eficient de models en un navegador gràcies a la seva tècnica de compressió, optimitzant l'ús de memòria i ample de banda. En el nostre cas, vam aconseguir integrar aquesta tecnologia dins de Salesforce utilitzant un iframe en una pàgina Visualforce. Aquest enfocament ens va permetre superar les restriccions dels Web Workers en Lightning Web Components (LWC).
Durant el desenvolupament, vam afrontar diferents desafiaments, especialment amb l'optimització del processament local. Un dels aspectes més interessants va ser la correcta estructuració del context dins del prompt. Inicialment, els models no utilitzaven els registres de Salesforce de manera efectiva, fins que vam descobrir que reorganitzar l'estructura del missatge resolia el problema.
En termes de rendiment, les proves van demostrar que la velocitat de càrrega inicial del model depèn en gran mesura de la velocitat de la memòria RAM. Així mateix, la generació de respostes és ràpida, gairebé equiparable a solucions al núvol. Tot i que no hem explorat completament l'ús de GPU per a optimització addicional, està clar que aquesta tecnologia té un gran potencial.
A Q2BSTUDIO seguim explorant noves solucions tecnològiques i optimitzant les nostres eines perquè les empreses puguin aprofitar el millor de la intel·ligència artificial dins de l'ecosistema Salesforce.
