Boty AI w robots.txt: co blokować, a na co zezwolić

Jeśli nie chcecie, aby treści z waszej strony były wykorzystywane do trenowania modeli AI, a jednocześnie zależy wam na widoczności w wyszukiwarce Google i w wyszukiwaniu opartym na AI, nie blokujcie w pliku robots.txt „wszystkich botów AI” naraz. Decyzję warto podjąć osobno dla trzech celów: trenowania modeli, wyszukiwania AI oraz pobrania strony na prośbę użytkownika. OpenAI i Anthropic używają do nich różnych botów, a Google ma do trenowania modeli Gemini osobny token Google-Extended.

Jeśli celem jest „bez trenowania, ale z widocznością”, zablokujcie GPTBot, ClaudeBot i Google-Extended, a boty wyszukiwarek Googlebot, OAI-SearchBot i Claude-SearchBot pozostawcie dozwolone. Zablokowanie Googlebota objęłoby natomiast całą wyszukiwarkę Google, w tym AI Overviews. I uwaga: robots.txt to publiczna prośba skierowana do botów, a nie zamek. Treści niepubliczne musi chronić logowanie.

Trzy cele botów AI: trenowanie, wyszukiwanie i prośba użytkownika

Operatorzy usług AI rozróżniają, w jakim celu pobierają treści z sieci. OpenAI wprost podaje, że ustawienia jego botów są od siebie niezależne: strona może zezwolić OAI-SearchBot na wyświetlanie w wyszukiwaniu ChatGPT i jednocześnie zablokować GPTBot, sygnalizując w ten sposób, że jej treści nie powinny być używane do trenowania (dokumentacja OpenAI). Anthropic podobnie oddziela bota treningowego ClaudeBot, bota wyszukiwania Claude-SearchBot oraz Claude-User obsługującego pytania użytkowników (centrum pomocy Anthropic).

Google to szczególny przypadek. AI Overviews i AI Mode są częścią wyszukiwarki, dlatego dostęp do nich kontroluje zwykły Googlebot (Google Search Central). Google-Extended nie ma osobnego User-Agenta, indeksowanie wykonują zwykłe boty Google, a token służy jedynie do wyrażenia waszego wyboru. Określacie nim, czy treści z witryny mogą być wykorzystywane do trenowania przyszłych generacji modeli Gemini oraz do groundingu, czyli przekazywania modelowi treści z indeksu wyszukiwarki w chwili zadania pytania, w aplikacjach Gemini i w Vertex AI. Nie wpływa na obecność witryny w wyszukiwarce Google i nie jest też sygnałem rankingowym (lista robotów Google).

Bot lub token	Operator	Cel według dokumentacji	Skutek zablokowania
GPTBot	OpenAI	Pobiera treści, które mogą zostać użyte do trenowania generatywnych modeli bazowych	Sygnał, że treści nie powinny być używane do trenowania
OAI-SearchBot	OpenAI	Wyświetlanie stron w wyszukiwaniu ChatGPT	Strona nie pojawi się w odpowiedziach wyszukiwania ChatGPT, może jednak pojawić się jako link nawigacyjny
ChatGPT-User	OpenAI	Odwiedzenie strony podczas działania użytkownika, a nie automatyczne indeksowanie	Reguły robots.txt mogą nie mieć zastosowania
ClaudeBot	Anthropic	Zbiera treści, które mogą przyczynić się do trenowania modeli	Sygnał, że przyszłe treści witryny mają zostać wyłączone z danych treningowych
Claude-SearchBot	Anthropic	Poprawa jakości wyników wyszukiwania	Treści nie są indeksowane na potrzeby wyszukiwania, widoczność może spaść
Claude-User	Anthropic	Pobranie strony w odpowiedzi na pytanie użytkownika	Claude nie pobierze waszych treści przy pytaniu użytkownika, widoczność może spaść
Google-Extended	Google	Token dotyczący trenowania przyszłych modeli Gemini i groundingu w aplikacjach Gemini oraz w Vertex AI	Bez wpływu na obecność w wyszukiwarce Google i na ranking
Googlebot	Google	Wyszukiwarka Google, w tym AI Overviews i AI Mode	Obejmie wyszukiwarkę Google ze wszystkimi jej funkcjami oraz inne produkty, np. Grafikę Google

W przypadku botów uruchamianych przez użytkowników warto rozważyć, co blokada oznacza w praktyce: klient, który pyta asystenta AI bezpośrednio o waszą firmę, może nie otrzymać odpowiedzi opartej na aktualnej wersji waszej strony.

Przykład ilustracyjny: producent okien bez trenowania, ale z widocznością

Poniższy przykład jest fikcyjny. Regionalny producent okien drewnianych ma publiczne strony produktowe, blog z poradnikami dotyczącymi konserwacji oraz cennik dla firm montażowych. Zarząd chce, aby klienci znajdowali firmę w wyszukiwarce Google, w ChatGPT i w Claude, ale nie chce, aby poradniki były wykorzystywane do trenowania modeli. Cennik dla partnerów nie powinien być w ogóle publiczny.

Decyzja: Googlebot, OAI-SearchBot, Claude-SearchBot i Claude-User pozostają dozwolone, a GPTBot, ClaudeBot i Google-Extended otrzymują blokadę. Firma świadomie akceptuje, że zablokowanie Google-Extended ograniczy także grounding w aplikacjach Gemini i w Vertex AI. Ważniejsza dla niej wyszukiwarka Google pozostaje nienaruszona. Cennik zostaje przeniesiony za logowanie.

Przykładowy plik robots.txt dla tego przypadku

# Trenowanie modeli AI: niedozwolone
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Pozostałe boty, w tym Googlebot, OAI-SearchBot i Claude-SearchBot
User-agent: *
Disallow: /wyszukiwanie/

Co ten plik robi, a czego nie robi

Pierwsze trzy grupy dotyczą tylko wymienionych botów. Wszystkie pozostałe boty, które nie mają własnej grupy, zgodnie ze standardem stosują się do grupy * (RFC 9309), więc nie indeksują wyników wyszukiwania wewnętrznego. Cennika celowo brakuje w pliku: robots.txt jest publiczny, a podana ścieżka wręcz by go zdradziła.

Wdrożenie w sześciu krokach

Sam plik ma kilka linijek, ale stojąca za nim decyzja jest biznesowa. Zalecamy następujący sposób postępowania:

Decydujcie według celu, a nie według nazwy bota. Dla trenowania, wyszukiwania AI i próśb użytkowników zapiszcie osobną decyzję oraz to, kto ją zatwierdził. Robots.txt jedynie przenosi tę decyzję do praktyki.
Zinwentaryzujcie domeny i subdomeny. Anthropic zaleca ustawienie blokady dla każdej subdomeny, którą chcecie wyłączyć. Sprawdźcie więc także sklep internetowy, blog, dokumentację lub portal klienta działające na osobnej subdomenie.
Piszcie grupy zgodnie ze standardem. Bot, który znajdzie grupę ze swoją nazwą, stosuje się wyłącznie do niej; grupy * używa tylko wtedy, gdy nie ma własnej. Jeśli więc tworzycie dla bota osobną grupę, powtórzcie w niej wszystkie reguły, które mają go obowiązywać. Przy konflikcie reguł decyduje najbardziej szczegółowe, czyli najdłuższe dopasowanie ścieżki (RFC 9309).
Treści niepubliczne chrońcie logowaniem. Standard wprost stwierdza, że robots.txt nie zastępuje środków bezpieczeństwa, a ścieżki w nim podane stają się publicznie znane. Dostęp kontrolujcie za pomocą uwierzytelniania, na przykład uwierzytelniania HTTP lub logowania w aplikacji.
Sprawdźcie infrastrukturę i wdróżcie zmianę. Google przypomina, że indeksowanie musi być dozwolone nie tylko w robots.txt, ale także przez CDN i infrastrukturę hostingową (Google Search Central). Przejrzyjcie więc również zaporę sieciową i ochronę przed botami. Po wdrożeniu otwórzcie /robots.txt i sprawdźcie jego zawartość. Liczcie się z opóźnieniem: OpenAI w przypadku wyszukiwania podaje około 24 godziny, a standard zaleca, aby boty nie korzystały z zapisanej wersji pliku dłużej niż 24 godziny, jeśli plik jest dostępny.
Weryfikujcie w logach i regularnie aktualizujcie reguły. Podejrzane żądania sprawdzajcie na podstawie źródłowego adresu IP, jak wyjaśniamy w najczęstszych pytaniach. Raz na kwartał porównajcie reguły z dokumentacją operatorów, ponieważ pojawiają się nowe boty i sygnały.

Tabela decyzyjna: cel, ustawienie i kompromis

Tabela łączy cel biznesowy z ustawieniem i z tym, z czego w ten sposób rezygnujecie. Opiera się na dokumentacji OpenAI, Anthropic i Google.

Cel firmy	Ustawienie	O czym pamiętać
Obecność w wyszukiwarce Google, w tym w AI Overviews i AI Mode	Zezwolić Googlebotowi; strona musi być zaindeksowana i kwalifikować się do wyświetlenia z fragmentem opisu	Dodatkowych wymagań technicznych nie ma, ale wyświetlenie nie jest gwarantowane
Brak zgody na trenowanie modeli Gemini	Blokada dla Google-Extended	Nie wpływa na wyszukiwarkę Google ani na ranking, ale ogranicza też grounding w aplikacjach Gemini i w Vertex AI
Obecność w wyszukiwaniu ChatGPT bez trenowania	Zezwolić OAI-SearchBot, zablokować GPTBot	Ustawienia są niezależne; zmiana może zacząć działać w wyszukiwaniu po około 24 godzinach
Możliwość znalezienia w Claude bez trenowania	Zezwolić Claude-SearchBot i Claude-User, zablokować ClaudeBot	Reguła wymieniająca ClaudeBot ma pierwszeństwo przed ogólnym sygnałem preferencji
Ukrycie cennika lub dokumentów wewnętrznych	Logowanie lub uwierzytelnianie HTTP	Robots.txt nie chroni treści, a podane w nim ścieżki są publiczne

Dla AI Overviews Google nie podaje osobnego tokena w robots.txt. Według Google AI jest integralną częścią wyszukiwarki, a narzędziem kontroli dostępu jest robots.txt dla Googlebota (Google Search Central). Do ograniczenia tego, co z waszych stron wyświetla się w wyszukiwarce, służą nosnippet, data-nosnippet, max-snippet lub noindex. Kontrolują one sposób wyświetlania w wyszukiwarce, dlatego warto rozważyć ich wpływ także na zwykłe wyniki.

Pojawiają się również ogólne sygnały preferencji dotyczących trenowania. Od 30 października 2026 r. Anthropic rozpoznaje odczytywalny maszynowo sygnał, za pomocą którego właściciel witryny określa, czy jej treści mogą być używane do trenowania modeli AI. Sygnał opiera się na projekcie prac grupy roboczej aipref w IETF i jest wdrażany stopniowo (Anthropic). Google podaje, że planuje obsługę wspólnego sygnału AIPREF na początku 2027 roku (Google). Dopóki standard się nie ustabilizuje, zalecamy utrzymanie jawnych reguł dla poszczególnych botów.

Jeśli problemem nie jest trenowanie, lecz obciążenie serwera, całkowita blokada może nie być najlepszym wyborem. Anthropic obsługuje rozszerzenie Crawl-delay, za pomocą którego można spowolnić jego boty. To niestandardowa dyrektywa, więc inni operatorzy mogą jej nie respektować.

Blokowanie botów AI: najczęstsze błędy

Podczas konfiguracji zwróćcie uwagę przede wszystkim na te sytuacje:

Zablokowanie Googlebota z powodu AI Overviews. Dotyka to całej wyszukiwarki Google, a nie tylko funkcji AI.
Własna grupa bez powtórzonych reguł. Jeśli dodacie grupę na przykład dla OAI-SearchBot, ten bot przestanie przestrzegać reguł z grupy *, których w niej nie powtórzyliście.
Tajne ścieżki w robots.txt. Plik może przeczytać każdy, więc lista „ukrytych” adresów działa jak drogowskaz.
Blokowanie adresów IP zamiast robots.txt. Anthropic ostrzega, że taka blokada może nie działać niezawodnie ani trwale, ponieważ uniemożliwia botowi odczytanie robots.txt.
Zapomniane subdomeny. Reguły w domenie głównej nie obejmują sklepu internetowego ani dokumentacji na subdomenie.
Ochrona CDN działająca wbrew własnym regułom. Zapora sieciowa lub ochrona przed botami może zablokować bota, na którego robots.txt zezwala, a widoczność może spaść bez wyraźnej przyczyny.

Lista kontrolna przed wdrożeniem

Przed opublikowaniem zmiany przejdźcie przez poniższe punkty i zapiszcie wynik razem z decyzją:

Decyzja dotycząca trenowania, wyszukiwania AI i próśb użytkowników jest zapisana i zatwierdzona.
Robots.txt jest ustawiony w każdej domenie i subdomenie, którą chcecie kontrolować.
Każdy bot z własną grupą ma w niej wszystkie reguły, które mają go obowiązywać.
Googlebot nie jest zablokowany, jeśli chcecie być widoczni w wyszukiwarce Google.
Treści niepubliczne są za logowaniem, a nie tylko wpisane do robots.txt.
Ani CDN, ani zapora sieciowa, ani hosting nie blokują botów, na które chcecie zezwolić.
Logi rejestrują zarówno User-Agent, jak i adres IP, a podejrzane żądania weryfikujecie na podstawie opublikowanych list.
Ustalony jest termin kolejnego przeglądu i osoba odpowiedzialna.

Najczęstsze pytania

Czy strona wypadnie z Google, jeśli zablokuję Google-Extended?

Nie. Google podaje, że Google-Extended nie wpływa na obecność witryny w wyszukiwarce Google i nie jest sygnałem rankingowym. Ogranicza wykorzystanie treści do trenowania przyszłych modeli Gemini oraz do groundingu w aplikacjach Gemini i w Vertex AI.

Czy można wyłączyć tylko AI Overviews i zachować zwykłe wyniki?

Google nie podaje do tego osobnego tokena w robots.txt. Wyszukiwarkę, w tym funkcje AI, kontroluje Googlebot, a wyświetlane treści można ograniczyć za pomocą nosnippet, data-nosnippet, max-snippet lub noindex. Ponieważ kontrolują one wyszukiwarkę, zmianę najpierw przetestujcie na niewielkiej części witryny i obserwujcie jej skutki.

Czy zablokowanie GPTBot lub ClaudeBot usuwa treści, które już zostały zebrane?

Dokumentacja opisuje blokadę jako sygnał dotyczący dalszego wykorzystania. OpenAI pisze, że zablokowanie GPTBot oznacza, iż treści nie powinny być używane do trenowania, a Anthropic w przypadku ClaudeBot wprost mówi o przyszłych materiałach witryny. Usunięcia już zebranych danych te strony nie obiecują. Jeśli musicie się tym zająć, zwróćcie się bezpośrednio do operatora usługi.

Jak sprawdzić, czy to naprawdę bot OpenAI, Anthropic lub Google?

Nie polegajcie wyłącznie na User-Agencie, ponieważ wysyła go sam klient. Porównajcie źródłowy adres IP z listami publikowanymi przez OpenAI i Anthropic. W przypadku Google sprawdźcie, czy adres należy do opublikowanych zakresów popularnych robotów i czy odwrotny DNS kończy się na googlebot.com, jak opisuje dokumentacja Google.

Chcecie mieć reguły dla botów AI pod kontrolą?

Pomożemy zamienić decyzję biznesową w działającą konfigurację: zaprojektujemy robots.txt dla wszystkich domen i subdomen, sprawdzimy hosting, CDN i ochronę przed botami oraz przygotujemy weryfikację w logach. W technicznej konfiguracji nowej i istniejącej strony pomożemy w ramach usługi tworzenie stron internetowych. Jeśli chcecie wykorzystać AI także we własnych procesach, zapoznajcie się z usługą agenci AI na zamówienie. Przez stronę kontaktową wyślijcie nam adres strony i opis tego, co chcecie osiągnąć. Więcej praktycznych poradników znajdziecie na blogu Webiant.