Blokování AI robotů v robots.txt: co zakázat a co povolit

Pokud nechcete, aby se obsah vašeho webu používal k trénování AI modelů, ale zároveň chcete zůstat viditelní ve Vyhledávání Google i v AI vyhledávání, nezakazujte v robots.txt „všechny AI roboty“ najednou. Rozhodněte zvlášť o třech účelech: trénování modelů, AI vyhledávání a načtení stránky na žádost uživatele. OpenAI i Anthropic pro ně používají odlišné roboty a Google má pro trénování modelů Gemini samostatný token Google-Extended.

Pokud je vaším cílem „bez trénování, ale s viditelností“, zakažte GPTBot, ClaudeBot a Google-Extended a ponechte povolené vyhledávací roboty Googlebot, OAI-SearchBot a Claude-SearchBot. Zákaz Googlebota by naopak zasáhl celé Vyhledávání Google včetně AI Overviews. A pozor: robots.txt je veřejná žádost pro roboty, ne zámek. Neveřejný obsah musí chránit přihlášení.

Tři účely AI robotů: trénování, vyhledávání a požadavek uživatele

Provozovatelé AI služeb rozlišují, k čemu obsah z webu načítají. OpenAI výslovně uvádí, že nastavení jeho robotů jsou na sobě nezávislá: web může povolit OAI-SearchBot, aby se zobrazoval ve vyhledávání ChatGPT, a zároveň zakázat GPTBot, čímž signalizuje, že se obsah nemá použít k trénování (dokumentace OpenAI). Anthropic podobně odděluje trénovacího robota ClaudeBot, vyhledávacího Claude-SearchBot a Claude-User pro dotazy uživatelů (nápověda Anthropic).

Google je zvláštní případ. AI Overviews a AI Mode jsou součástí Vyhledávání, proto přístup k nim řídí běžný Googlebot (Google Search Central). Google-Extended nemá samostatný User-Agent, procházení probíhá běžnými roboty Googlu a token slouží jen k vyjádření vaší volby. Určíte jím, zda se obsah z vašeho webu smí použít k trénování budoucích generací modelů Gemini a ke groundingu, tedy k předání obsahu z indexu Vyhledávání modelu v okamžiku dotazu, v aplikacích Gemini a ve Vertex AI. Na zařazení webu do Vyhledávání Google vliv nemá a není ani signálem pro pořadí ve výsledcích (seznam crawlerů Google).

Robot nebo token	Provozovatel	Účel podle dokumentace	Důsledek zákazu
GPTBot	OpenAI	Prochází obsah, který se může použít k trénování generativních základních modelů	Signál, že se obsah nemá použít k trénování
OAI-SearchBot	OpenAI	Zobrazování webů ve vyhledávání ChatGPT	Web se nezobrazí v odpovědích vyhledávání ChatGPT, může se však objevit jako navigační odkaz
ChatGPT-User	OpenAI	Návštěva stránky při akci uživatele, ne automatické procházení	Pravidla robots.txt se nemusí uplatnit
ClaudeBot	Anthropic	Sbírá obsah, který může přispět k trénování modelů	Signál, že se budoucí obsah webu má vyloučit z trénovacích dat
Claude-SearchBot	Anthropic	Zlepšování kvality výsledků vyhledávání	Obsah se neindexuje pro vyhledávání, viditelnost může klesnout
Claude-User	Anthropic	Načtení stránky na dotaz uživatele	Claude váš obsah při dotazu uživatele nenačte, viditelnost může klesnout
Google-Extended	Google	Token pro trénování budoucích modelů Gemini a grounding v aplikacích Gemini a ve Vertex AI	Bez vlivu na zařazení do Vyhledávání Google a na pořadí
Googlebot	Google	Vyhledávání Google včetně AI Overviews a AI Mode	Zasáhne Vyhledávání Google se všemi jeho funkcemi i další produkty, například Obrázky Google

U robotů spouštěných uživatelem zvažte, co zákaz znamená v praxi: zákazník, který se AI asistenta ptá přímo na vaši firmu, nemusí dostat odpověď z vašeho aktuálního webu.

Ilustrativní příklad: výrobce oken bez trénování, ale s viditelností

Následující příklad je smyšlený. Regionální výrobce dřevěných oken má veřejné produktové stránky, blog s návody na údržbu a ceník pro montážní firmy. Vedení chce, aby firmu zákazníci našli ve Vyhledávání Google, v ChatGPT i v Claude, ale nechce, aby se návody používaly k trénování modelů. Ceník pro partnery nemá být veřejný vůbec.

Rozhodnutí zní: Googlebot, OAI-SearchBot, Claude-SearchBot a Claude-User zůstanou povolené, GPTBot, ClaudeBot a Google-Extended dostanou zákaz. Firma vědomě přijímá, že zákaz Google-Extended omezí i grounding v aplikacích Gemini a ve Vertex AI. Vyhledávání Google, které je pro ni důležitější, zůstává nedotčené. Ceník se přesune za přihlášení.

Ukázka robots.txt pro tento příklad

# Trénování AI modelů: nepovoleno
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Ostatní roboti včetně Googlebot, OAI-SearchBot a Claude-SearchBot
User-agent: *
Disallow: /vyhledavani/

Co tento soubor dělá a co nedělá

První tři skupiny platí jen pro jmenované roboty. Všichni ostatní roboti, kteří vlastní skupinu nemají, se podle standardu řídí skupinou * (RFC 9309), takže výsledky interního vyhledávání neprocházejí. Ceník v souboru záměrně chybí: robots.txt je veřejný a uvedené cesty by naopak prozradil.

Postup zavedení v šesti krocích

Samotný soubor má pár řádků, rozhodnutí za ním je však obchodní. Doporučujeme tento postup:

Rozhodujte podle účelu, ne podle názvu robota. Pro trénování, AI vyhledávání a požadavky uživatelů zapište samostatné rozhodnutí a kdo ho schválil. Robots.txt pak jen převádí toto rozhodnutí do praxe.
Zmapujte domény a subdomény. Anthropic doporučuje nastavit zákaz pro každou subdoménu, kterou chcete vyloučit. Zkontrolujte proto i e-shop, blog, dokumentaci či zákaznický portál na samostatné subdoméně.
Pište skupiny podle standardu. Robot, který najde skupinu se svým názvem, se řídí jen jí; skupinu * použije pouze tehdy, když vlastní nemá. Pokud tedy robotovi vytvoříte samostatnou skupinu, zopakujte v ní všechna pravidla, která pro něj mají platit. Při konfliktu pravidel rozhoduje nejspecifičtější, tedy nejdelší shoda cesty (RFC 9309).
Neveřejný obsah chraňte přihlášením. Standard výslovně uvádí, že robots.txt nenahrazuje bezpečnostní opatření a cesty v něm se stávají veřejně známými. Přístup řiďte autentizací, například HTTP autentizací nebo přihlášením v aplikaci.
Zkontrolujte infrastrukturu a nasaďte změnu. Google připomíná, že procházení musí povolit nejen robots.txt, ale i CDN a hostingová infrastruktura (Google Search Central). Prověřte proto i firewall a ochranu proti botům. Po nasazení otevřete /robots.txt a ověřte jeho obsah. Počítejte se zpožděním: OpenAI u vyhledávání uvádí přibližně 24 hodin a standard doporučuje, aby roboti nepoužívali uloženou verzi souboru déle než 24 hodin, pokud je soubor dostupný.
Ověřujte v logech a pravidelně revidujte. Podezřelé přístupy ověřte podle zdrojové IP adresy, jak vysvětlujeme v častých dotazech. Jednou za čtvrtletí porovnejte pravidla s dokumentací provozovatelů, protože přibývají noví roboti i signály.

Rozhodovací tabulka: cíl, nastavení a kompromis

Tabulka spojuje obchodní cíl s nastavením a s tím, co tím obětujete. Vychází z dokumentace OpenAI, Anthropic a Google.

Cíl firmy	Nastavení	Na co myslet
Být ve Vyhledávání Google včetně AI Overviews a AI Mode	Povolit Googlebot; stránka musí být indexovaná a způsobilá k zobrazení se snippetem	Další technické požadavky nejsou, zobrazení však není zaručené
Nepovolit trénování modelů Gemini	Zákaz pro Google-Extended	Vyhledávání Google ani pořadí neovlivní, omezí však i grounding v aplikacích Gemini a ve Vertex AI
Být ve vyhledávání ChatGPT bez trénování	Povolit OAI-SearchBot, zakázat GPTBot	Nastavení jsou nezávislá; změna se ve vyhledávání může projevit přibližně do 24 hodin
Být dohledatelný v Claude bez trénování	Povolit Claude-SearchBot a Claude-User, zakázat ClaudeBot	Pravidlo, které jmenuje ClaudeBot, má přednost před obecným signálem preference
Skrýt ceník nebo interní dokumenty	Přihlášení nebo HTTP autentizace	Robots.txt obsah nechrání a cesty v něm jsou veřejné

Pro AI Overviews Google neuvádí samostatný token v robots.txt. Podle Googlu je AI nedílnou součástí Vyhledávání a nástrojem pro řízení přístupu je robots.txt pro Googlebot (Google Search Central). K omezení toho, co se z vašich stránek ve Vyhledávání zobrazí, slouží nosnippet, data-nosnippet, max-snippet nebo noindex. Jde o řízení zobrazení ve Vyhledávání, proto u nich zvažte dopad i na běžné výsledky.

Přibývají i obecné signály preference trénování. Anthropic od 30. října 2026 rozpoznává strojově čitelný signál, kterým vlastník webu vyjádří, zda se jeho obsah smí použít k trénování AI modelů. Signál vychází z návrhu práce skupiny aipref v IETF a zavádí se postupně (Anthropic). Google uvádí, že podporu společného signálu AIPREF plánuje na začátek roku 2027 (Google). Dokud se standard neustálí, doporučujeme ponechat explicitní pravidla pro jednotlivé roboty.

Pokud vás netrápí trénování, ale zátěž serveru, úplný zákaz nemusí být nejlepší volbou. Anthropic podporuje rozšíření Crawl-delay, kterým jeho roboty zpomalíte. Jde o nestandardní direktivu, ostatní provozovatelé ji proto respektovat nemusí.

Časté chyby při blokování AI robotů

Při nastavování si dejte pozor hlavně na tyto situace:

Zákaz Googlebota kvůli AI Overviews. Web tím zasáhne celé Vyhledávání Google, nejen AI funkce.
Vlastní skupina bez zopakovaných pravidel. Pokud přidáte skupinu například pro OAI-SearchBot, tento robot přestane dodržovat pravidla ze skupiny *, která jste v ní nezopakovali.
Tajné cesty v robots.txt. Soubor si může přečíst kdokoli, takže seznam „skrytých“ adres funguje jako rozcestník.
Blokování IP adres místo robots.txt. Anthropic upozorňuje, že takový zákaz nemusí fungovat spolehlivě ani trvale, protože robotovi brání přečíst robots.txt.
Zapomenuté subdomény. Pravidla na hlavní doméně nepokrývají e-shop či dokumentaci na subdoméně.
Ochrana CDN proti vlastním pravidlům. Firewall nebo ochrana proti botům může zablokovat robota, kterého robots.txt povoluje, a viditelnost může klesnout bez zjevné příčiny.

Kontrolní seznam před nasazením

Před zveřejněním změny projděte tyto body a výsledek si uložte k rozhodnutí:

Rozhodnutí pro trénování, AI vyhledávání a požadavky uživatelů je zapsané a schválené.
Robots.txt je nastavený na každé doméně a subdoméně, kterou chcete řídit.
Každý robot s vlastní skupinou má v ní všechna pravidla, která pro něj mají platit.
Googlebot není zakázaný, pokud chcete být ve Vyhledávání Google.
Neveřejný obsah je za přihlášením, ne jen v robots.txt.
CDN, firewall ani hosting neblokují roboty, které chcete povolit.
Logy zaznamenávají User-Agent i IP adresu a podezřelé přístupy ověřujete vůči zveřejněným seznamům.
Je určen termín další revize a odpovědná osoba.

Časté dotazy

Vypadne web z Googlu, když zakážu Google-Extended?

Ne. Google uvádí, že Google-Extended neovlivňuje zařazení webu do Vyhledávání Google a není signálem pořadí. Omezuje použití obsahu k trénování budoucích modelů Gemini a ke groundingu v aplikacích Gemini a ve Vertex AI.

Dá se vypnout jen AI Overviews a ponechat běžné výsledky?

Google pro to samostatný token v robots.txt neuvádí. Vyhledávání včetně AI funkcí řídí Googlebot a zobrazovaný obsah omezíte pomocí nosnippet, data-nosnippet, max-snippet nebo noindex. Protože jde o řízení Vyhledávání, změnu nejprve vyzkoušejte na malé části webu a sledujte dopad.

Odstraní zákaz GPTBot nebo ClaudeBot obsah, který už byl shromážděn?

Dokumentace popisuje zákaz jako signál pro další použití. OpenAI píše, že zákaz GPTBot znamená, že se obsah nemá použít k trénování, a Anthropic u ClaudeBot výslovně mluví o budoucích materiálech webu. Odstranění již shromážděných dat tyto stránky neslibují. Pokud ho potřebujete řešit, obraťte se přímo na provozovatele služby.

Jak ověřím, že jde opravdu o robota OpenAI, Anthropic nebo Google?

Nespoléhejte jen na User-Agent, ten posílá sám klient. Porovnejte zdrojovou IP adresu se seznamy, které zveřejňují OpenAI a Anthropic. U Googlu ověřte, zda adresa patří do zveřejněných rozsahů běžných crawlerů a zda reverzní DNS končí na googlebot.com, jak uvádí dokumentace Google.

Chcete mít pravidla pro AI roboty pod kontrolou?

Pomůžeme vám převést obchodní rozhodnutí do funkčního nastavení: navrhneme robots.txt pro všechny domény a subdomény, prověříme hosting, CDN a ochranu proti botům a připravíme ověřování v logech. S technickým nastavením nového i stávajícího webu vám pomůžeme v rámci služby tvorba webových stránek. Pokud chcete AI využít i ve vlastních procesech, podívejte se na AI agenty na míru. Přes kontaktní stránku nám pošlete adresu webu a čeho chcete dosáhnout. Další praktické návody najdete na blogu Webiant.