Jak se váš web dostane do odpovědí ChatGPT, Googlu a Seznam AI
Zákazníci se čím dál častěji ptají chatbotů místo vyhledávače. Nikdo vám nezaručí, že vás v odpovědi uvedou, ale pár věcí je změřených a stojí za odpoledne práce.
7 minut čtení
Kontrola AI robotů
Napište adresu. Uvidíte, které AI roboty váš robots.txt pouští a které zakazuje, jestli je server nezastavuje potají, a dostanete správné řádky pro volbu, kterou si vyberete, třeba AI vyhledávání ano a trénování ne.
AI roboti
- povolen: OAI-SearchBot
- zakázán: GPTBot
- povolen: Claude-SearchBot
- zakázán: ClaudeBot
- povolen: PerplexityBot
- zakázán: CCBot
Názvy robotů a služeb (GPTBot, ClaudeBot, Applebot a další) patří jejich provozovatelům a slouží jen k označení. Kontrolu provozuje Socionet, žádný z provozovatelů ji nevydává ani nedoporučuje.
Adresu pošleme na náš server, který web otevře jako návštěvník SocionetWebCheck, přečte robots.txt a pak se stránky zeptá ještě jednou jménem každého robota (21 dotazů). Výsledek držíme 24 hodin zašifrovaný klíčem odvozeným z adresy, adresu ani vaši IP v čitelné podobě neukládáme. Generátor pravidel běží jen ve vašem prohlížeči.
Tady se objeví stav každého z 23 robotů: jestli ho robots.txt pouští, jestli ho pouští server, a jestli to odpovídá vaší volbě. Když ne, dostanete přesné řádky k opravě.
Pravidla k zkopírování
Pro volbu „AI vyhledávání ano, trénování ne“. Vložte je do souboru robots.txt v kořeni webu (firma.cz/robots.txt).
# AI crawlers: search and assistants allowed, training and data collection refused # OpenAI User-agent: OAI-SearchBot User-agent: ChatGPT-User Allow: / User-agent: GPTBot Disallow: / # Anthropic User-agent: Claude-SearchBot User-agent: Claude-User Allow: / User-agent: ClaudeBot Disallow: / # Perplexity User-agent: PerplexityBot User-agent: Perplexity-User Allow: / # Google User-agent: Google-Extended Disallow: / # Apple User-agent: Applebot Allow: / User-agent: Applebot-Extended Disallow: / # Meta User-agent: meta-webindexer User-agent: meta-externalfetcher Allow: / User-agent: meta-externalagent Disallow: / # Amazon User-agent: Amzn-SearchBot User-agent: Amzn-User Allow: / User-agent: Amazonbot Disallow: / # DuckDuckGo User-agent: DuckAssistBot Allow: / # Mistral User-agent: MistralAI-Index User-agent: MistralAI-User Allow: / User-agent: MistralAI-Training Disallow: / # Common Crawl User-agent: CCBot Disallow: / # ByteDance User-agent: Bytespider Disallow: /
- Každý robot dostane skupinu pod svým jménem, takže pravidlo nezávisí na skupině „User-agent: *“.
- Pokud v souboru už některý z těch robotů je, starou skupinu smažte, ať si pravidla neodporují.
- U WordPressu se robots.txt často upravuje v SEO doplňku (Yoast SEO, Rank Math). Cloudflare může do souboru vkládat vlastní řádky.
- Robots.txt je prosba, ne zámek. Roboty na přání uživatele a nepoctivé roboty zastaví jen firewall.
Tři druhy AI robotů, tři různá rozhodnutí
Ne každý AI robot dělá totéž a provozovatelé je v dokumentaci záměrně oddělují. Proto se vyplatí rozhodovat o každém druhu zvlášť, ne jedním zákazem pro všechny.
- Vyhledávání a odpovědi (třeba OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot): rozhodují, jestli vás služba může ukázat jako zdroj. Zákaz znamená, že se v ní nejspíš neobjevíte.
- Roboti na přání uživatele (ChatGPT-User, Claude-User, Perplexity-User a další): načtou stránku, když se na ni uživatel zeptá. Část provozovatelů píše, že u nich robots.txt dodržet nemusí.
- Trénování a sběr dat (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider a další): obsah slouží k trénování modelů nebo do archivů. Zákaz je vaše rozhodnutí a na zobrazení ve vyhledávání vliv nemá.
Co kontrola pozná a co ne
Přečte robots.txt podle pravidel RFC 9309 pro každého z 23 robotů zvlášť a ukáže řádek, který rozhoduje. Pak se stránky zeptá ještě jednou jménem každého robota, který má vlastní user agent (21 dotazů, po jednom na robota), a tak pozná firewall nebo ochranu hostingu, která roboty zastavuje potají, i když je robots.txt pouští. Přečte i značky noai, noimageai, noindex a nosnippet na stránce a v hlavičkách a řádky Content-Signal v robots.txt.
Ta druhá zkouška je jen test jména (user agent). Skuteční roboti chodí z IP adres, které provozovatelé zveřejňují, a firewall je může pouštět, i když naše zkouška neprošla, nebo naopak zastavit, i když prošla. Kontrola také nepozná, co robot opravdu dělá: robots.txt je prosba, ne zámek. A nic nezaručí: jestli vás služba přečte, ukáže nebo na vás odkáže, rozhoduje její provozovatel.
Jak vybrat pravidla a co s nimi
Nejdřív si vyberte, co chcete: nejčastější volba je pustit vyhledávání a odpovědi a zakázat trénování. Výsledek pak ukáže, kde web volbě neodpovídá, a generátor pod ním napíše řádky, které stačí vložit do souboru robots.txt v kořeni webu. Každý robot dostane skupinu pod svým jménem, takže pravidlo nezávisí na obecné skupině „User-agent: *“.
Po změně počítejte s prodlevou: OpenAI, Perplexity i Amazon píší o zhruba 24 hodinách, DuckDuckGo o 72. Potom kontrolu zopakujte tlačítkem „Zkontrolovat znovu“. Nechcete to řešit sami? Ukázku nového webu, který tohle všechno má v pořádku od začátku, dostanete zdarma do 48 hodin.
Časté dotazy
Jak zakážu trénování, ale zůstanu ve vyhledávání AI?
Vyberte volbu „AI vyhledávání ano, trénování ne“. Vyhledávací roboty a roboty na přání uživatele dostanou „Allow: /“ a roboty pro trénování a sběr dat „Disallow: /“. Provozovatelé k tomu mají oddělené roboty: GPTBot a OAI-SearchBot u OpenAI, ClaudeBot a Claude-SearchBot u Anthropic, Applebot-Extended a Applebot u Applu.
Zastaví zákaz v robots.txt opravdu každého robota?
Ne. Robots.txt je prosba, kterou slušní roboti dodržují. Provozovatelé o části robotů na přání uživatele píšou, že ji dodržet nemusí (OpenAI u ChatGPT-User, Perplexity u Perplexity-User, Meta u meta-externalfetcher, Amazon u Amzn-User). Zastavit je spolehlivě umí jen firewall, a to i tak jen podle jména nebo IP adres.
Ovlivní Google-Extended, jak mě najde Google?
Podle Googlu ne. Google-Extended určuje jen to, jestli smí Google obsah použít k trénování modelů Gemini a jako zdroj odpovědí v aplikaci Gemini. Zařazení do Google Search neovlivňuje a AI přehledy řídí Googlebot a značky noindex, nosnippet a max-snippet. Google-Extended nemá vlastní user agent, jde jen o značku v robots.txt, proto se na něj server zeptat nedá.
Co znamená, že server robota odmítl, ale robots.txt ho pouští?
Že mu cestu zavřel jiný hráč než robots.txt, nejčastěji firewall hostingu, ochrana proti robotům (třeba u Cloudflare) nebo zabezpečovací doplněk webu. Robot pak dostane chybu 403 nebo stránku s ověřením a obsah nikdy neuvidí, ať v robots.txt stojí cokoli. Jestli je to záměr, je to v pořádku, jinak je potřeba roboty povolit u hostingu.
Má smysl značka noai nebo noimageai?
Ne. Nejsou to standardy a v dokumentaci robotů, které kontrolujeme, jsme je nenašli. Meta sama píše, že dává přednost robots.txt před nestandardními formáty, jako jsou značky NoAI. Kontrola je zobrazí, pokud na stránce jsou, ale nehodnotí je jako ochranu. Zákaz trénování patří do robots.txt. U Applu navíc funguje značka nosnippet, kterou stránku vyřadíte z širších odpovědí Siri a vyhledávání.
Co je řádek Content-Signal v robots.txt?
Návrh, který používá třeba spravovaný robots.txt od Cloudflare, například „Content-Signal: search=yes, ai-train=no“. Zatím nepatří mezi pravidla RFC 9309 a nástroje jako Lighthouse ho mohou označit za neznámou direktivu. Kontrola ho zobrazí, ale nehodnotí, a generátor ho nepíše.
Jak dlouho trvá, než se změna projeví?
Provozovatelé uvádějí zhruba den: OpenAI, Perplexity, Amazon i Meta píšou o 24 hodinách, DuckDuckGo o 72 hodinách. Teprve potom smysl dává kontrolu zopakovat.
Kolik kontrol můžu udělat?
Deset různých webů za hodinu z jedné sítě. Web, který jste za posledních 24 hodin už zkontrolovali, se bere z paměti a do limitu se nepočítá. Server je malý a každý den zvládne omezený počet kontrol. Když je vyčerpán, napíše vám to a stačí to zkusit zítra.
Opravil jsem web, proč vidím starý výsledek?
Výsledek držíme 24 hodin, aby se tentýž web neotvíral pořád dokola. Po opravě klikněte pod výsledkem na „Zkontrolovat znovu, bez paměti“. Taková kontrola se počítá do hodinového limitu.
Ukládáte adresu, kterou zadám?
V čitelné podobě ne. Výsledek kontroly držíme 24 hodin a je zašifrovaný klíčem, který se dá odvodit jen ze samotné adresy, takže z databáze se nedá zjistit, které weby se kontrolovaly. Ukládáme ještě otisk IP adresy a čas kontroly, nejdéle na 48 hodin, jen kvůli limitu proti zneužití. Generátor pravidel běží jen ve vašem prohlížeči a nic neodesílá.
Přečtěte si k tomu
Máte nápad, co v nástroji zlepšit?
Něco chybí, něco je nejasné, nebo to nefunguje, jak byste čekali? Napište nám. Čteme to a podle toho nástroj vylepšujeme.
Nejde o poptávku a nikdo se vám sám neozve. Odpovíme jen tehdy, když nám necháte e‑mail.
Díky, nápad máme.