Preskočiť na obsah
SocionetMake a wish

Generátor robots.txt bez chýb

Vyberte, na čom váš web beží, doplňte cesty, kam roboty nemajú chodiť, a adresu mapy stránok. Hotový súbor robots.txt si skopírujete alebo stiahnete a nástroj vás upozorní na najčastejšie chyby. Nič sa neodosiela, súbor sa skladá priamo vo vašom prehliadači.

robots.txt

User-agent, Disallow, Sitemap

Na čom web beží

Na každý riadok jedna cesta, začína lomkou. Kto chce zakázať aj AI roboty, použije kontrolu AI robotov (po česky).

    Súbor sa skladá len vo vašom prehliadači. Nič sa neodosiela ani neukladá.

    Všetky nástroje zadarmo

    Čo do robots.txt patrí

    Robots.txt je obyčajný textový súbor v koreni webu (adresa-webu/robots.txt), v ktorom web hovorí vyhľadávačom a ďalším robotom, ktoré časti si majú prezerať a ktoré nie. Formát popisuje norma RFC 9309. Súbor má byť v kódovaní UTF-8 a Google číta prvých 500 kibibajtov, čo je pre bežný web viac než dosť.

    Pre väčšinu firemných webov stačí pár riadkov:

    • Cesty, ktoré zbytočne zaťažujú server alebo nepatria do vyhľadávania: správa webu, košík, prihlásenie, interné vyhľadávanie.
    • Odkaz na mapu stránok riadkom Sitemap. Roboty potom nájdu všetky stránky rýchlejšie.
    • Pri WordPresse zákaz priečinka /wp-admin/ s výnimkou súboru admin-ajax.php, ktorý potrebujú niektoré funkcie verejných stránok.

    Robots.txt bez chýb

    Chyba v tomto súbore sa pozná neskoro, niekedy až keď web zmizne z vyhľadávania. Generátor preto stráži:

    • cestu bez úvodnej lomky alebo s medzerou vnútri,
    • zákaz celého webu (riadok Disallow: /), ktorý patrí len na web vo vývoji,
    • zákaz súborov CSS a JavaScript, podľa ktorých vyhľadávač stránku vykreslí,
    • chýbajúcu adresu mapy stránok.

    Čo robots.txt nevie

    Nie je to zámok a nič neukryje. Stránku, na ktorú vedie odkaz inde na internete, môže vyhľadávač zobraziť aj tak, len bez popisu. Čo nemá byť vidieť, patrí za heslo, a čo nemá byť vo výsledkoch, dostane značku noindex, ktorú ale robot musí smieť prečítať, takže stránku v robots.txt nezakazujte.

    Riadok Crawl-delay Google nepodporuje, preto ho generátor nepíše. Nezakazujte ani priečinok s ikonou webu: Google ho musí smieť načítať, aby ju ukázal pri výsledkoch vyhľadávania. A pamätajte, že pravidlá sú žiadosť, ktorú dodržia slušné roboty, nie spôsob, ako zahnať zlé.

    Časté otázky

    Ako vytvoriť robots.txt?

    Vyberte, na čom web beží, upravte cesty a vložte adresu mapy stránok. Súbor stiahnite a nahrajte do koreňa webu, aby bol na adrese vas-web.sk/robots.txt. Potom si ho v prehliadači otvorte a skontrolujte.

    Kde má byť súbor robots.txt?

    V koreni domény, nie v podpriečinku. Roboty ho hľadajú na adrese s názvom súboru hneď za doménou. Každá subdoména má svoj vlastný súbor.

    Ako vyzerá robots.txt pre WordPress?

    Najčastejšie zakazuje priečinok /wp-admin/ a povoľuje súbor /wp-admin/admin-ajax.php, k tomu riadok Sitemap s adresou mapy stránok. Presne taký predvolený vzor nájdete po výbere WordPressu hore.

    Ako pridať sitemap do robots.txt?

    Na samostatný riadok napíšte Sitemap: a celú adresu mapy stránok, napríklad https://www.example.sk/sitemap.xml. Adresa musí byť úplná, aj s https. Mapu stránok si môžete vytvoriť v našom generátore sitemap.xml.

    Skryje robots.txt stránku z Googlu?

    Nie. Zakáže robotom stránku načítať, ale nemusí ju vyradiť z výsledkov. Na odstránenie z Googlu použite značku noindex a stránku nezakazujte, aby ju robot mohol prečítať.

    Ako otestujem, že robots.txt funguje?

    Otvorte adresu vas-web.sk/robots.txt v prehliadači a overte, že vidíte text bez chýb. Správa o robots.txt v Google Search Console ukáže, ktorý súbor Google stiahol a aké v ňom našiel problémy.

    Zablokuje nástroj aj AI roboty?

    Píše pravidlá pre všetky roboty (User-agent: *). Pravidlá pre konkrétneho AI robota sú samostatná skupina s jeho názvom a dodržia ich len roboty, ktoré robots.txt rešpektujú.

    A keby ste potrebovali web?

    Nastavenia pre vyhľadávače, ako robots.txt a mapu stránok, pri našich weboch nastavujeme my. Ukážku webu uvidíte zadarmo ešte pred platbou.