WordPress robots.txt: Kompletný sprievodca pre maximálne SEO a čistý Crawl Budget
Súbor robots.txt je prvým miestom, kam sa pozrie Googlebot (alebo iný robot vyhľadávača), keď navštívi tvoj web. Je to v podstate "vrátnik", ktorý dáva pokyny, kam sa smie ísť a kam je vstup prísne zakázaný.
Mnoho správcov webov tento súbor podceňuje a necháva ho v základnom nastavení. To je chyba. Správne nakonfigurovaný robots.txt je kľúčový pre Crawl Budget (rozpočet na prehľadávanie – čas a zdroje, ktoré Google vyhradí na indexáciu tvojho webu). Ak Googlebot stráca čas v systémových zložkách alebo vo filtroch e-shopu, nemusí sa dostať k tvojim dôležitým článkom alebo produktom.
V tomto článku si ukážeme dve overené konfigurácie: jednu pre klasický prezentačný web a druhú "hardcore" verziu pre WooCommerce e-shopy, kde je optimalizácia kritická.
Čo je to robots.txt a prečo na ňom záleží?
robots.txt je textový súbor umiestnený v koreňovom adresári tvojho webu. Používa protokol Robots Exclusion Standard na komunikáciu s webovými crawlermi.
Jeho hlavnou úlohou v kontexte SEO nie je "utajovanie" obsahu (na to slúži meta tag noindex alebo ochrana heslom), ale riadenie toku robotov. Chceme, aby Google videl to, čo zarába peniaze a prináša návštevnosť, a ignoroval technický balast, ktorý vytvára duplicitný obsah.
Kľúčové pojmy, ktoré budeme používať:
Crawl Budget: Obmedzený počet URL adries, ktoré Googlebot dokáže a chce prejsť na tvojom webe za určité obdobie.
User-agent: Definuje, pre ktorého robota pravidlá platia (hviezdička * znamená "pre všetkých").
Disallow: Príkaz, ktorý zakazuje prístup do konkrétnej cesty.
Allow: Príkaz, ktorý explicitne povoľuje prístup (používa sa na výnimky v rámci zakázaného priečinka).
1. Variant: Klasický Web (Firemná stránka / Blog)
Pre štandardné weby bežiace na WordPresse je cieľom maximálna priechodnosť pre obsahové stránky, ale zároveň tvrdá stopka pre administratívne rozhranie a interné vyhľadávanie, ktoré často generuje takzvaný Thin Content (obsah s nízkou hodnotou).
Tu je kód, ktorý skopíruj do svojho robots.txt:
User-agent: *
# Povolíme všetko podstatné, aby Google videl stránku tak ako človek (CSS, JS)
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
# Zakážeme backend a systémové veci
Disallow: /wp-admin/
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
# TOTO JE KĽÚČOVÉ PRE SEO:
# Zakáž indexovanie výsledkov vyhľadávania (tvoria duplicitný obsah)
Disallow: /?s=
Disallow: /search/
Disallow: /trackback/
# Odkaz na mapu stránok (Rank Math ju generuje tu)
Sitemap: https://tvojadomena.sk/sitemap_index.xmlVysvetlenie konfigurácie:
Allow: /wp-admin/admin-ajax.php: Toto je kriticky dôležité. Aj keď blokujeme/wp-admin/, mnoho moderných tém a pluginov používa AJAX volania práve cez tento súbor na načítanie obsahu na frontende. Ak ho zablokujete, Google nemusí vidieť tvoj web správne vykreslený.- Blokovanie vyhľadávania (
/?s=,/search/): Ak máš na webe vyhľadávacie pole, každé vyhľadávanie generuje unikátnu URL. Spamovacie roboty dokážu vytvoriť tisíce takýchto URL s nezmyslami. Ak ich Google indexuje, tvoje SEO padá kvôli duplicite a nízkokvalitnému obsahu. Disallow: /wp-json/a/xmlrpc.php: Zvyšuje bezpečnosť a znižuje záťaž servera tým, že bráni robotom "oňuchávať" API endpointy.
2. Variant: E-shop (WooCommerce - Nadupaná verzia)
Pri e-shopoch sa hra mení. WooCommerce je notoricky známy tým, že generuje obrovské množstvo parametrických URL adries (filtre farieb, zoradenie podľa ceny, rozsahy cien).
Ak toto nezablokuješ, Googlebot premrhá svoj Crawl Budget na indexovanie stránky tvojshop.sk/tricka?farba=modra&velkost=XL&zoradenie=cena_vzostupne namiesto toho, aby indexoval tvoj nový blogový článok alebo produkt. Navyše, tieto parametrické stránky sú často duplicitou hlavnej kategórie.
Pre e-shop použi túto prísnu konfiguráciu:
User-agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
# Admin a systém
Disallow: /wp-admin/
Disallow: /xmlrpc.php
# SEO hygiena - žiadne vyhľadávania
Disallow: /?s=
Disallow: /search/
# WOOCOMMERCE ŠPECIFIKÁ (Zachráň Crawl Budget!)
# Nechceme indexovať košík, pokladňu a účty - sú to privátne stránky bez SEO hodnoty
Disallow: /kosik/
Disallow: /pokladna/
Disallow: /moj-ucet/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
# Dynamické URL (filtre, zoradenie, pridanie do košíka)
# Toto zabíja SEO, ak to nezablokuješ - vznikajú tisíce duplicitných URL
Disallow: /*?orderby=
Disallow: /*?price-min=
Disallow: /*?price-max=
Disallow: /*?filter_
Disallow: /*?add-to-cart=
Disallow: /*?currency=
# Odkaz na sitemapu
Sitemap: https://tvojadomena.sk/sitemap_index.xmlPrečo je táto verzia "Hardcore"?
Všimni si použitie zástupného znaku (wildcard) * pred parametrami, napríklad Disallow: /*?orderby=.
Tento zápis hovorí robotovi: "Ignoruj akúkoľvek URL adresu, ktorá kdekoľvek v reťazci obsahuje otáznik nasledovaný parametrom orderby". Týmto jediným riadkom vyriešiš problém s duplicitným obsahom pri zoraďovaní produktov v celom e-shope naraz.
Taktiež blokujeme add-to-cart. Odkazy na pridanie do košíka sú technické linky, Google nemá dôvod ich sledovať a "nakupovať" u teba.
Ako nasadiť robots.txt vo WordPresse?
Máš dve hlavné možnosti, ako tento súbor upraviť:
- Fyzický súbor (Pre technicky zdatných): Keďže bežíš na vlastnom serveri (Ubuntu/ISPConfig), môžeš sa pripojiť cez FTP/SFTP a vytvoriť alebo upraviť súbor
robots.txtpriamo v koreňovom adresári webu (tam, kde jewp-config.php). Toto je najčistejšia metóda. - Cez SEO plugin (Rank Math): Ak používaš Rank Math, nemusíš sa hrabať v súboroch.
- Choď do Rank Math SEO > General Settings > Edit robots.txt.
- Tu môžeš priamo vložiť kód, ktorý som uviedol vyššie. Rank Math vytvorí virtuálny robots.txt, ktorý prepíše ten fyzický (ak nejaký existuje).
Záverečné odporúčanie
Po nasadení nového robots.txt nezabudni urobiť validáciu. Otvor si Google Search Console a použi nástroj na testovanie robots.txt (alebo počkaj pár dní na aktualizáciu stavu indexovania).
Pamätaj: Menej balastu pre Googlebota = viac pozornosti pre tvoj kvalitný obsah. S týmito nastaveniami zabezpečíš, že tvoj web bude pre vyhľadávače technicky dokonalým partnerom.