Přeskočit na obsah
SocionetMake a wish

Generátor robots.txt bez chyb

Vyberte, na čem váš web běží, doplňte cesty, kam roboty nemají chodit, a adresu mapy webu. Hotový soubor robots.txt si zkopírujete nebo stáhnete a nástroj vás upozorní na nejčastější chyby. Nic se neodesílá, skládá se přímo ve vašem prohlížeči.

robots.txt

User-agent, Disallow, Sitemap

Na čem web běží

Na každý řádek jedna cesta, začíná lomítkem. Kdo chce zakázat i AI roboty, použije kontrolu AI robotů.

    Soubor se skládá jen ve vašem prohlížeči. Nic se neodesílá ani neukládá.

    Všechny nástroje zdarma

    Co do robots.txt patří

    Robots.txt je prostý textový soubor v kořeni webu (adresa-webu/robots.txt), ve kterém web říká vyhledávačům a dalším robotům, které části si mají prohlížet a které ne. Formát popisuje norma RFC 9309. Soubor má být v kódování UTF-8 a Google čte prvních 500 kibibajtů, což je pro běžný web víc než dost.

    Pro většinu firemních webů stačí pár řádků:

    • Cesty, které nemají zatěžovat server ani být ve vyhledávání: správa webu, košík, přihlášení, interní vyhledávání.
    • Odkaz na mapu webu řádkem Sitemap. Roboty pak najdou všechny stránky rychleji.
    • U WordPressu zákaz složky /wp-admin/ s výjimkou souboru admin-ajax.php, který potřebují některé funkce stránek.

    Robots.txt bez chyb

    Chyba v tomhle souboru se pozná pozdě, třeba až když web zmizí z vyhledávání. Generátor proto hlídá:

    • cestu bez počátečního lomítka nebo s mezerou uvnitř,
    • zákaz celého webu (řádek Disallow: /), který patří jen na web ve vývoji,
    • zákaz souborů CSS a JavaScript, podle kterých vyhledávač stránku vykreslí,
    • chybějící adresu mapy webu.

    Co robots.txt neumí

    Není to zámek a nic neschová. Stránku, na kterou vede odkaz jinde na internetu, může vyhledávač zobrazit i tak, jen bez popisu. Co nemá být vidět, patří za heslo, a co nemá být ve výsledcích, dostane značku noindex, kterou ale robot musí smět přečíst, takže stránku v robots.txt nezakazujte.

    Řádek Crawl-delay Google nepodporuje, proto ho generátor nepíše. Nezakazujte ani složku s ikonou webu: Google ji musí smět načíst, aby ji ukázal u výsledků vyhledávání.

    Časté dotazy

    Jak vytvořit robots.txt?

    Soubor robots.txt vytvoříte v generátoru na této stránce a pak ho nahrajete na web. Vyberte, na čem web běží, upravte cesty a vložte adresu mapy webu. Soubor stáhněte a nahrajte do kořene webu, aby byl na adrese vas-web.cz/robots.txt. Pak si ho v prohlížeči otevřete a zkontrolujte.

    Kde má být soubor robots.txt?

    Soubor robots.txt patří vždy na jedno určené místo. V kořeni domény, ne v podsložce. Roboti ho hledají na adrese s názvem souboru hned za doménou. Každá subdoména má svůj vlastní soubor. Pro doménu vas-web.cz tedy soubor patří na adresu vas-web.cz/robots.txt, ne do žádné složky.

    Jak vypadá robots.txt pro WordPress?

    Typický robots.txt pro WordPress má pravidla pro složku /wp-admin/ a řádek Sitemap. Nejčastěji zakazuje složku /wp-admin/ a povoluje soubor /wp-admin/admin-ajax.php, k tomu řádek Sitemap s adresou mapy webu. Přesně takový výchozí vzor najdete po výběru WordPressu nahoře. Tento vzor můžete v nástroji upravit podle svého webu.

    Jak přidat sitemap do robots.txt?

    Sitemap do robots.txt přidáte jedním novým řádkem, který začíná slovem Sitemap a obsahuje adresu mapy webu. Na samostatný řádek napište Sitemap: a celou adresu mapy webu, třeba https://www.example.cz/sitemap.xml. Adresa musí být úplná, i s https. Mapu webu si můžete vytvořit v generátoru sitemap.xml.

    Skryje robots.txt stránku z Googlu?

    Ne. Zakáže robotům stránku načítat, ale nemusí ji vyřadit z výsledků. Na odstranění ze Googlu použijte značku noindex a stránku nezakazujte, aby ji robot mohl přečíst. Samotný zákaz v robots.txt tedy stránku z Googlu neskryje, k tomu slouží značka noindex a stránka musí zůstat pro robota čitelná.

    Jak otestuju, že robots.txt funguje?

    Funkčnost robots.txt ověříte v prohlížeči a pro konkrétní stránky v nástroji Search Console. Otevřete adresu vas-web.cz/robots.txt v prohlížeči a ověřte, že vidíte text bez chyb. Zda pravidlo blokuje konkrétní stránku, ukáže nástroj Search Console. Rychlou kontrolu robotů s umělou inteligencí dělá kontrola AI robotů.

    Přečtěte si k tomu

    SEO pro živnostníky: co zvládnete sami a kolik stojí odborník

    SEO znamená, aby Google a Seznam pochopily, co děláte a kde, a ukázaly vás lidem, kteří to hledají. Základy zvládne živnostník sám a zdarma, odborník stojí podle veřejných ceníků od několika tisíc korun měsíčně.

    4 minuty čtení

    A kdybyste potřebovali web?

    Nastavení pro vyhledávače, jako robots.txt a mapa webu, u našich webů nastavujeme my. Ukázku webu uvidíte zdarma ještě před platbou.

    Máte nápad, co v nástroji zlepšit?

    Něco chybí, něco je nejasné, nebo to nefunguje, jak byste čekali? Napište nám. Čteme to a podle toho nástroj vylepšujeme.

    Nejde o poptávku a nikdo se vám sám neozve. Odpovíme jen tehdy, když nám necháte e‑mail.

    Zprávu čteme jen my. E‑mail je nepovinný a použijeme ho jen k odpovědi, ne k reklamě ani k novinkám. Zprávu i s e‑mailem uchováváme nejdéle 12 měsíců. Podrobnosti v zásadách ochrany osobních údajů.