Generátor robots.txt bez chýb
Vyberte, na čom váš web beží, doplňte cesty, kam roboty nemajú chodiť, a adresu mapy stránok. Hotový súbor robots.txt si skopírujete alebo stiahnete a nástroj vás upozorní na najčastejšie chyby. Nič sa neodosiela, súbor sa skladá priamo vo vašom prehliadači.
robots.txt
User-agent, Disallow, Sitemap
Čo do robots.txt patrí
Robots.txt je obyčajný textový súbor v koreni webu (adresa-webu/robots.txt), v ktorom web hovorí vyhľadávačom a ďalším robotom, ktoré časti si majú prezerať a ktoré nie. Formát popisuje norma RFC 9309. Súbor má byť v kódovaní UTF-8 a Google číta prvých 500 kibibajtov, čo je pre bežný web viac než dosť.
Pre väčšinu firemných webov stačí pár riadkov:
- Cesty, ktoré zbytočne zaťažujú server alebo nepatria do vyhľadávania: správa webu, košík, prihlásenie, interné vyhľadávanie.
- Odkaz na mapu stránok riadkom Sitemap. Roboty potom nájdu všetky stránky rýchlejšie.
- Pri WordPresse zákaz priečinka /wp-admin/ s výnimkou súboru admin-ajax.php, ktorý potrebujú niektoré funkcie verejných stránok.
Robots.txt bez chýb
Chyba v tomto súbore sa pozná neskoro, niekedy až keď web zmizne z vyhľadávania. Generátor preto stráži:
- cestu bez úvodnej lomky alebo s medzerou vnútri,
- zákaz celého webu (riadok Disallow: /), ktorý patrí len na web vo vývoji,
- zákaz súborov CSS a JavaScript, podľa ktorých vyhľadávač stránku vykreslí,
- chýbajúcu adresu mapy stránok.
Čo robots.txt nevie
Nie je to zámok a nič neukryje. Stránku, na ktorú vedie odkaz inde na internete, môže vyhľadávač zobraziť aj tak, len bez popisu. Čo nemá byť vidieť, patrí za heslo, a čo nemá byť vo výsledkoch, dostane značku noindex, ktorú ale robot musí smieť prečítať, takže stránku v robots.txt nezakazujte.
Riadok Crawl-delay Google nepodporuje, preto ho generátor nepíše. Nezakazujte ani priečinok s ikonou webu: Google ho musí smieť načítať, aby ju ukázal pri výsledkoch vyhľadávania. A pamätajte, že pravidlá sú žiadosť, ktorú dodržia slušné roboty, nie spôsob, ako zahnať zlé.
Časté otázky
Ako vytvoriť robots.txt?
Vyberte, na čom web beží, upravte cesty a vložte adresu mapy stránok. Súbor stiahnite a nahrajte do koreňa webu, aby bol na adrese vas-web.sk/robots.txt. Potom si ho v prehliadači otvorte a skontrolujte.
Kde má byť súbor robots.txt?
V koreni domény, nie v podpriečinku. Roboty ho hľadajú na adrese s názvom súboru hneď za doménou. Každá subdoména má svoj vlastný súbor.
Ako vyzerá robots.txt pre WordPress?
Najčastejšie zakazuje priečinok /wp-admin/ a povoľuje súbor /wp-admin/admin-ajax.php, k tomu riadok Sitemap s adresou mapy stránok. Presne taký predvolený vzor nájdete po výbere WordPressu hore.
Ako pridať sitemap do robots.txt?
Na samostatný riadok napíšte Sitemap: a celú adresu mapy stránok, napríklad https://www.example.sk/sitemap.xml. Adresa musí byť úplná, aj s https. Mapu stránok si môžete vytvoriť v našom generátore sitemap.xml.
Skryje robots.txt stránku z Googlu?
Nie. Zakáže robotom stránku načítať, ale nemusí ju vyradiť z výsledkov. Na odstránenie z Googlu použite značku noindex a stránku nezakazujte, aby ju robot mohol prečítať.
Ako otestujem, že robots.txt funguje?
Otvorte adresu vas-web.sk/robots.txt v prehliadači a overte, že vidíte text bez chýb. Správa o robots.txt v Google Search Console ukáže, ktorý súbor Google stiahol a aké v ňom našiel problémy.
Zablokuje nástroj aj AI roboty?
Píše pravidlá pre všetky roboty (User-agent: *). Pravidlá pre konkrétneho AI robota sú samostatná skupina s jeho názvom a dodržia ich len roboty, ktoré robots.txt rešpektujú.
A keby ste potrebovali web?
Nastavenia pre vyhľadávače, ako robots.txt a mapu stránok, pri našich weboch nastavujeme my. Ukážku webu uvidíte zadarmo ešte pred platbou.

