Com redactar i enviar un fitxer robots.txt
Resum ràpid Un fitxer robots.txt indica als motors de cerca quines pàgines poden i no poden rastrejar. Es col·loca a la carpeta arrel del lloc i segueix regles senzilles. Crear, pujar i comprovar el fitxer a Google Search Console ajuda a optimitzar el rastreig, protegir contingut sensible i evitar que pàgines innecessàries apareguin en resultats. Aquesta guia explica pas a pas com crear, configurar, provar i enviar robots.txt per millorar el SEO.
Directrius bàsiques per crear robots.txt Un fitxer robots.txt és un document de text pla que guia els bots de cerca. És essencial per bloquejar panells d'administració i pàgines d'inici de sessió, evitar el rastreig de pàgines duplicades o irrelevants i dirigir els bots cap al contingut important. Regles clau: només pot haver-hi un fitxer robots.txt per domini, s'ha de col·locar a la carpeta principal del domini, guardar-lo com a robots.txt en minúscules, seguir el Robots Exclusion Protocol, les regles són sensibles a majúscules i minúscules i ha d'estar accessible a https://tudominio.com/robots.txt
Com crear el fitxer Utilitza un editor de text simple com Notepad a Windows o TextEdit a Mac en mode text pla. Evita processadors que afegeixin format invisible. Desa amb codificació UTF-8 i anomena el fitxer robots.txt. Exemple de contingut bàsic: User-agent: * Disallow: /admin/ Allow: / Sitemap: https://www.tudominio.com/sitemap.xml Això bloqueja tots els rastrejadors de la carpeta /admin/ mentre permet la resta i apunta al sitemap per facilitar la indexació.
Com escriure les regles Directives principals: User-agent defineix a quin bot s'aplica la regla, per exemple User-agent: Googlebot o User-agent: * per a tots els rastrejadors. Disallow bloqueja l'accés a una pàgina o directori, per exemple Disallow: /checkout/ Disallow: /search/ Allow permet excepcions dins d'un directori bloquejat, per exemple Allow: /search/results/ Sitemap apunta al sitemap en XML perquè els bots el trobin. Comodins útils: l'asterisc * coincideix amb qualsevol seqüència de caràcters i el signe de dòlar $ indica el final de l'URL. Exemple per bloquejar PDFs: Disallow: /*.pdf$
Exemples pràctics Bloquejar tots els rastrejadors: User-agent: * Disallow: / Bloquejar un directori: User-agent: * Disallow: /private/ Disallow: /admin/ Bloquejar una pàgina concreta: User-agent: * Disallow: /confirmation.html Permetre només a Googlebot: User-agent: Googlebot Allow: / User-agent: * Disallow: / Bloquejar fitxers PDF: User-agent: * Disallow: /*.pdf$ Permetre tot excepte a un bot dolent: User-agent: BadBot Disallow: / User-agent: * Allow: / Incloure sitemap: Sitemap: https://www.tudominio.com/sitemap.xml
Pujada del fitxer Col·loca robots.txt a la carpeta arrel del domini perquè sigui accessible a https://example.com/robots.txt. En plataformes allotjades busca la secció de SEO per pujar o editar robots.txt. En frameworks com Next.js posa robots.txt a la carpeta public perquè es serveixi des de l'arrel.
Prova del fitxer Pas 1 visita https://tudominio.com/robots.txt en un navegador per comprovar accés públic. Pas 2 utilitza Google Search Console i l'eina robots.txt Tester per detectar errors de sintaxi. Google proporciona a més un parser open source per a proves avançades. Assegura't que les regles no bloquegin recursos crítics com CSS o JS que afectin el renderitzat i la indexació.
Enviar a Google Google sol descobrir robots.txt automàticament, però pots forçar la revisió i accelerar l'aplicació de canvis iniciant sessió a Google Search Console, obrint robots.txt Tester i fent clic a Submit o provar l'URL amb l'eina d'inspecció d'URL per veure com Google veu la pàgina.
Bones pràctiques SEO Utilitza robots.txt per optimitzar el pressupost de rastreig bloquejant pàgines irrelevants, contingut duplicat o paràmetres de cerca. No utilitzis robots.txt per ocultar contingut que ha de desaparèixer dels resultats; per això utilitza meta robots noindex o encapçalaments X-Robots-Tag. Mantén una còpia de seguretat de versions del fitxer i documenta canvis importants quan modifiquis l'estructura del lloc o els sitemaps.
Errors comuns 1 bloquejar per error recursos essencials com CSS i JS que impedeixen el renderitzat 2 confiar en robots.txt per ocultar contingut sensible en lloc de protegir-lo amb autenticació 3 utilitzar múltiples fitxers o ubicar-los en subcarpetes 4 oblidar actualitzar la ruta del sitemap si canvia
Preguntes freqüents Què fa robots.txt Això indica als bots què poden i què no poden rastrejar. Oculta les meves pàgines de Google Si només utilitzes robots.txt les pàgines bloquejades poden continuar apareixent en resultats si altres llocs enllacen a elles. Per a eliminació completa utilitza noindex. Puc bloquejar scrapers i bots d'IA Sí, bloquejant els seus user agents a robots.txt, encara que no és una mesura infal·lible. Què passa si no tinc robots.txt Els bots assumiran que poden rastrejar-ho tot. Amb quina freqüència actualitzar-lo Actualitza quan canviï l'estructura del lloc o en afegir o eliminar sitemaps.
Sobre Q2BSTUDIO Q2BSTUDIO és una empresa de desenvolupament de programari i aplicacions a mida especialitzada en solucions tecnològiques avançades. Oferim programari a mida, aplicacions a mida, serveis d'intel·ligència artificial i solucions de ciberseguretat per a empreses de totes les mides. A més proporcionem serveis cloud aws i azure, serveis intel·ligència de negoci i consultoria en power bi. El nostre equip desenvolupa agents IA i projectes d'ia per a empreses que integren models de llenguatge i automatització segura. Si necessites optimitzar el rastreig del teu web, millorar la seguretat de serveis cloud aws i azure o construir una plataforma amb intel·ligència artificial i power bi, Q2BSTUDIO pot encarregar-se del disseny, desenvolupament i manteniment.
Com Q2BSTUDIO pot ajudar Auditem la configuració de robots.txt com a part d'una revisió tècnica completa. Creem, provem i mantenim fitxers robots.txt alineats amb estratègies SEO, desenvolupem programari a mida que respecta regles d'indexació i oferim implementació segura en serveis cloud aws i azure. També despleguem solucions d'intel·ligència artificial i agents IA per automatitzar tasques i extreure intel·ligència de negoci amb visualitzacions en power bi. La nostra oferta inclou ciberseguretat per protegir dades i accessos, garantint compliment i control sobre el que els motors de cerca poden veure.
Conclusions Un robots.txt ben dissenyat guia els rastrejadors, protegeix àrees sensibles, millora el focus d'indexació i estalvia pressupost de rastreig. Integra robots.txt amb noindex, sitemaps i una estratègia tècnica SEO completa. Si vols que el teu lloc web i les teves aplicacions a mida funcionin amb màxima eficiència i seguretat, contacta amb Q2BSTUDIO per a una consultoria que combini programari a mida, intel·ligència artificial, ciberseguretat, serveis cloud aws i azure, serveis intel·ligència de negoci, ia per a empreses, agents IA i power bi.
