AI roboty v robots.txt: čo blokovať a čo povoliť

Ak nechcete, aby sa obsah vášho webu používal na tréning AI modelov, no zároveň chcete zostať viditeľní vo Vyhľadávaní Google aj v AI vyhľadávaní, nezakazujte všetky AI roboty v robots.txt naraz. Rozhodnite samostatne o troch účeloch: tréning modelov, AI vyhľadávanie a načítanie stránky na žiadosť používateľa. OpenAI aj Anthropic na ne používajú odlišné roboty a Google má pre tréning modelov Gemini samostatný token Google-Extended.

Ak je vaším cieľom „bez tréningu, ale s viditeľnosťou“, zakážte GPTBot, ClaudeBot a Google-Extended a ponechajte povolené vyhľadávacie roboty Googlebot, OAI-SearchBot a Claude-SearchBot. Zákaz Googlebot by naopak zasiahol celé Vyhľadávanie Google vrátane AI Overviews. A pozor: robots.txt je verejná požiadavka pre roboty, nie zámok. Neverejný obsah musí chrániť prihlásenie.

Tri účely AI robotov: tréning, vyhľadávanie a požiadavka používateľa

Prevádzkovatelia AI služieb rozlišujú, na čo obsah z webu načítavajú. OpenAI výslovne uvádza, že nastavenia jeho robotov sú navzájom nezávislé: web môže povoliť OAI-SearchBot, aby sa zobrazoval vo vyhľadávaní ChatGPT, a zároveň zakázať GPTBot, čím signalizuje, že obsah sa nemá použiť na tréning (dokumentácia OpenAI). Anthropic podobne oddeľuje tréningový ClaudeBot, vyhľadávací Claude-SearchBot a Claude-User pre otázky používateľov (pomocník Anthropic).

Google je osobitný prípad. AI Overviews a AI Mode sú súčasťou Vyhľadávania, preto prístup k nim riadi bežný Googlebot (Google Search Central). Google-Extended nemá samostatný User-Agent, prehľadávanie prebieha bežnými robotmi Google a token slúži iba na vyjadrenie vašej voľby. Určíte ním, či sa obsah z vášho webu môže použiť na tréning budúcich generácií modelov Gemini a na grounding, teda dodanie obsahu z indexu Vyhľadávania modelu v čase otázky, v aplikáciách Gemini a vo Vertex AI. Na zaradenie webu do Vyhľadávania Google vplyv nemá a nie je ani signálom pre poradie vo výsledkoch (zoznam crawlerov Google).

Robot alebo token	Prevádzkovateľ	Účel podľa dokumentácie	Dôsledok zákazu
GPTBot	OpenAI	Prehľadáva obsah, ktorý sa môže použiť na tréning generatívnych základných modelov	Signál, že obsah sa nemá použiť na tréning
OAI-SearchBot	OpenAI	Zobrazovanie webov vo vyhľadávaní ChatGPT	Web sa nezobrazí v odpovediach vyhľadávania ChatGPT, môže sa však objaviť ako navigačný odkaz
ChatGPT-User	OpenAI	Návšteva stránky pri akcii používateľa, nie automatické prehľadávanie	Pravidlá robots.txt sa nemusia uplatniť
ClaudeBot	Anthropic	Zbiera obsah, ktorý môže prispieť k tréningu modelov	Signál, že budúci obsah webu sa má vylúčiť z tréningových dát
Claude-SearchBot	Anthropic	Zlepšovanie kvality výsledkov vyhľadávania	Obsah sa neindexuje pre vyhľadávanie, viditeľnosť môže klesnúť
Claude-User	Anthropic	Načítanie stránky na otázku používateľa	Claude váš obsah pri otázke používateľa nenačíta, viditeľnosť môže klesnúť
Google-Extended	Google	Token pre tréning budúcich modelov Gemini a grounding v aplikáciách Gemini a vo Vertex AI	Bez vplyvu na zaradenie do Vyhľadávania Google a na poradie
Googlebot	Google	Vyhľadávanie Google vrátane AI Overviews a AI Mode	Zasiahne Vyhľadávanie Google so všetkými jeho funkciami aj ďalšie produkty, napríklad Obrázky Google

Pri robotoch spúšťaných používateľom zvážte, čo zákaz znamená v praxi: zákazník, ktorý sa AI asistenta pýta priamo na vašu firmu, nemusí dostať odpoveď z vášho aktuálneho webu.

Ilustračný príklad: výrobca okien bez tréningu, ale s viditeľnosťou

Nasledujúci príklad je vymyslený. Regionálny výrobca drevených okien má verejné produktové stránky, blog s návodmi na údržbu a cenník pre montážne firmy. Vedenie chce, aby firmu zákazníci našli vo Vyhľadávaní Google, v ChatGPT aj v Claude, no nechce, aby sa návody používali na tréning modelov. Cenník pre partnerov nemá byť verejný vôbec.

Rozhodnutie znie: Googlebot, OAI-SearchBot, Claude-SearchBot a Claude-User zostanú povolené, GPTBot, ClaudeBot a Google-Extended dostanú zákaz. Firma vedome akceptuje, že zákaz Google-Extended obmedzí aj grounding v aplikáciách Gemini a vo Vertex AI. Vyhľadávanie Google, ktoré je pre ňu dôležitejšie, zostáva nedotknuté. Cenník sa presunie za prihlásenie.

Ukážka robots.txt pre tento príklad

# Tréning AI modelov: nepovolený
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Ostatné roboty vrátane Googlebot, OAI-SearchBot a Claude-SearchBot
User-agent: *
Disallow: /vyhladavanie/

Čo tento súbor robí a čo nerobí

Prvé tri skupiny platia len pre menované roboty. Všetky ostatné roboty, ktoré vlastnú skupinu nemajú, sa podľa štandardu riadia skupinou * (RFC 9309), takže výsledky interného vyhľadávania neprehľadávajú. Cenník v súbore zámerne chýba: robots.txt je verejný a uvedené cesty by naopak prezradil.

Postup zavedenia v šiestich krokoch

Samotný súbor má pár riadkov, rozhodnutie za ním je však obchodné. Odporúčame tento postup:

Rozhodnite podľa účelu, nie podľa názvu robota. Pre tréning, AI vyhľadávanie a požiadavky používateľov zapíšte samostatné rozhodnutie a kto ho schválil. Robots.txt potom iba prenáša toto rozhodnutie do praxe.
Zmapujte domény a subdomény. Anthropic odporúča nastaviť zákaz pre každú subdoménu, ktorú chcete vylúčiť. Skontrolujte preto aj e-shop, blog, dokumentáciu či zákaznícky portál na samostatnej subdoméne.
Napíšte skupiny podľa štandardu. Robot, ktorý nájde skupinu so svojím názvom, sa riadi iba ňou; skupinu * použije len vtedy, keď vlastnú nemá. Ak teda robotovi vytvoríte samostatnú skupinu, zopakujte v nej všetky pravidlá, ktoré pre neho majú platiť. Pri konflikte pravidiel rozhoduje najšpecifickejšia, teda najdlhšia zhoda cesty (RFC 9309).
Neverejný obsah chráňte prihlásením. Štandard výslovne uvádza, že robots.txt nenahrádza bezpečnostné opatrenia a cesty v ňom sa stávajú verejne známymi. Prístup riaďte autentifikáciou, napríklad HTTP autentifikáciou alebo prihlásením v aplikácii.
Skontrolujte infraštruktúru a nasaďte zmenu. Google pripomína, že prehľadávanie musí povoliť nielen robots.txt, ale aj CDN a hostingová infraštruktúra (Google Search Central). Preverte preto aj firewall a ochranu proti botom. Po nasadení otvorte /robots.txt a overte jeho obsah. Počítajte s oneskorením: OpenAI pri vyhľadávaní uvádza približne 24 hodín a štandard odporúča, aby roboty nepoužívali uloženú verziu súboru dlhšie ako 24 hodín, pokiaľ je súbor dostupný.
Overujte v logoch a pravidelne revidujte. Podozrivé prístupy overte podľa zdrojovej IP adresy, ako vysvetľujeme v častých otázkach. Raz za štvrťrok porovnajte pravidlá s dokumentáciou prevádzkovateľov, pretože pribúdajú nové roboty aj signály.

Rozhodovacia tabuľka: cieľ, nastavenie a kompromis

Tabuľka spája obchodný cieľ s nastavením a s tým, čo tým obetujete. Vychádza z dokumentácie OpenAI, Anthropic a Google.

Cieľ firmy	Nastavenie	Na čo myslieť
Byť vo Vyhľadávaní Google vrátane AI Overviews a AI Mode	Povoliť Googlebot; stránka musí byť indexovaná a spôsobilá na zobrazenie so snippetom	Ďalšie technické požiadavky nie sú, zobrazenie však nie je zaručené
Nepovoliť tréning modelov Gemini	Zákaz pre Google-Extended	Vyhľadávanie Google ani poradie neovplyvní, obmedzí však aj grounding v aplikáciách Gemini a vo Vertex AI
Byť vo vyhľadávaní ChatGPT bez tréningu	Povoliť OAI-SearchBot, zakázať GPTBot	Nastavenia sú nezávislé; zmena sa vo vyhľadávaní môže prejaviť približne do 24 hodín
Byť dohľadateľný v Claude bez tréningu	Povoliť Claude-SearchBot a Claude-User, zakázať ClaudeBot	Pravidlo, ktoré menuje ClaudeBot, má prednosť pred všeobecným signálom preferencie
Skryť cenník alebo interné dokumenty	Prihlásenie alebo HTTP autentifikácia	Robots.txt obsah nechráni a cesty v ňom sú verejné

Pre AI Overviews Google neuvádza samostatný token v robots.txt. Podľa Google je AI neoddeliteľnou súčasťou Vyhľadávania a ovládaním prístupu je robots.txt pre Googlebot (Google Search Central). Na obmedzenie toho, čo sa z vašich stránok vo Vyhľadávaní zobrazí, slúžia nosnippet, data-nosnippet, max-snippet alebo noindex. Ide o ovládanie zobrazenia vo Vyhľadávaní, preto pri nich zvážte dopad aj na bežné výsledky.

Pribúdajú aj všeobecné signály preferencie tréningu. Anthropic od 30. októbra 2026 rozpoznáva strojovo čitateľný signál, ktorým vlastník webu vyjadrí, či sa jeho obsah môže použiť na tréning AI modelov. Signál vychádza z návrhu práce skupiny aipref v IETF a zavádza sa postupne (Anthropic). Google uvádza, že podporu spoločného signálu AIPREF plánuje začiatkom roka 2027 (Google). Kým sa štandard ustáli, odporúčame ponechať explicitné pravidlá pre jednotlivé roboty.

Ak vás netrápi tréning, ale záťaž servera, úplný zákaz nemusí byť najlepšou voľbou. Anthropic podporuje rozšírenie Crawl-delay, ktorým jeho roboty spomalíte. Ide o neštandardnú direktívu, iní prevádzkovatelia ju preto rešpektovať nemusia.

Časté chyby pri blokovaní AI robotov

Pri nastavovaní si dajte pozor najmä na tieto situácie:

Zákaz Googlebot kvôli AI Overviews. Web tým zasiahne celé Vyhľadávanie Google, nielen AI funkcie.
Vlastná skupina bez zopakovaných pravidiel. Ak pridáte skupinu napríklad pre OAI-SearchBot, tento robot prestane dodržiavať pravidlá zo skupiny *, ktoré ste v nej nezopakovali.
Tajné cesty v robots.txt. Súbor si môže prečítať ktokoľvek, takže zoznam „skrytých“ adries funguje ako rozcestník.
Blokovanie IP adries namiesto robots.txt. Anthropic upozorňuje, že takýto zákaz nemusí fungovať spoľahlivo ani trvalo, pretože bráni robotovi prečítať robots.txt.
Zabudnuté subdomény. Pravidlá na hlavnej doméne nepokrývajú e-shop či dokumentáciu na subdoméne.
Ochrana CDN proti vlastným pravidlám. Firewall alebo ochrana proti botom môže zablokovať robota, ktorého robots.txt povoľuje, a viditeľnosť môže klesnúť bez zjavnej príčiny.

Kontrolný zoznam pred nasadením

Pred zverejnením zmeny prejdite tieto body a výsledok si uložte k rozhodnutiu:

Rozhodnutie pre tréning, AI vyhľadávanie a požiadavky používateľov je zapísané a schválené.
Robots.txt je nastavený na každej doméne a subdoméne, ktorú chcete riadiť.
Každý robot s vlastnou skupinou má v nej všetky pravidlá, ktoré pre neho majú platiť.
Googlebot nie je zakázaný, ak chcete byť vo Vyhľadávaní Google.
Neverejný obsah je za prihlásením, nie iba v robots.txt.
CDN, firewall ani hosting neblokujú roboty, ktoré chcete povoliť.
Logy zaznamenávajú User-Agent aj IP adresu a podozrivé prístupy overujete voči zverejneným zoznamom.
Je určený termín ďalšej revízie a zodpovedná osoba.

Časté otázky

Vypadne web z Google, keď zakážem Google-Extended?

Nie. Google uvádza, že Google-Extended neovplyvňuje zaradenie webu do Vyhľadávania Google a nie je signálom poradia. Obmedzuje použitie obsahu na tréning budúcich modelov Gemini a na grounding v aplikáciách Gemini a vo Vertex AI.

Dá sa vypnúť iba AI Overviews a ponechať bežné výsledky?

Google na to samostatný token v robots.txt neuvádza. Vyhľadávanie vrátane AI funkcií riadi Googlebot a zobrazovaný obsah obmedzíte cez nosnippet, data-nosnippet, max-snippet alebo noindex. Keďže ide o ovládanie Vyhľadávania, zmenu najprv vyskúšajte na malej časti webu a sledujte dopad.

Odstráni zákaz GPTBot alebo ClaudeBot obsah, ktorý už bol zozbieraný?

Dokumentácia opisuje zákaz ako signál pre ďalšie použitie. OpenAI píše, že zákaz GPTBot znamená, že obsah sa nemá použiť na tréning, a Anthropic pri ClaudeBot výslovne hovorí o budúcich materiáloch webu. Odstránenie už zozbieraných dát tieto stránky nesľubujú. Ak ho potrebujete riešiť, obráťte sa priamo na prevádzkovateľa služby.

Ako overím, že ide naozaj o robota OpenAI, Anthropic alebo Google?

Nespoliehajte sa iba na User-Agent, ten posiela sám klient. Porovnajte zdrojovú IP adresu so zoznamami, ktoré zverejňujú OpenAI a Anthropic. Pri Google overte, či adresa patrí do zverejnených rozsahov bežných crawlerov a či reverzné DNS končí na googlebot.com, ako uvádza dokumentácia Google.

Chcete mať pravidlá pre AI roboty pod kontrolou?

Pomôžeme vám premeniť obchodné rozhodnutie na funkčné nastavenie: navrhneme robots.txt pre všetky domény a subdomény, preveríme hosting, CDN a ochranu proti botom a pripravíme overovanie v logoch. S technickým nastavením nového aj existujúceho webu vám pomôžeme v rámci služby tvorba webových stránok. Ak chcete AI využiť aj vo vlastných procesoch, pozrite si AI agentov na mieru. Cez kontaktnú stránku nám pošlite adresu webu a čo chcete dosiahnuť. Ďalšie praktické návody nájdete na blogu Webiant.