AI-robotok a robots.txt-ben: mit tiltson és mit engedélyezzen

Ha nem szeretné, hogy weboldala tartalmát AI-modellek tanítására használják, de közben látható szeretne maradni a Google Keresésben és az AI-alapú keresésben is, ne tiltsa le a robots.txt-ben egyszerre „az összes AI-robotot”. Három célról döntsön külön: a modellek tanításáról, az AI-alapú keresésről és az oldal felhasználói kérésre történő lekéréséről. Az OpenAI és az Anthropic ezekhez eltérő robotokat használ, a Google pedig a Gemini-modellek tanításához külön tokent, a Google-Extendedet biztosítja.

Ha a cél „tanítás nélkül, de láthatósággal”, tiltsa le a GPTBotot, a ClaudeBotot és a Google-Extendedet, a Googlebot, az OAI-SearchBot és a Claude-SearchBot keresőrobotokat pedig hagyja engedélyezve. A Googlebot tiltása ezzel szemben a teljes Google Keresést érintené, az AI Overviews funkciót is beleértve. És vigyázat: a robots.txt nyilvános kérés a robotok felé, nem zár. A nem nyilvános tartalmat bejelentkezéssel kell védeni.

Az AI-robotok három célja: tanítás, keresés és felhasználói kérés

Az AI-szolgáltatások üzemeltetői megkülönböztetik, milyen célra töltenek le tartalmat a webről. Az OpenAI kifejezetten kimondja, hogy robotjainak beállításai egymástól függetlenek: egy weboldal engedélyezheti az OAI-SearchBotot, hogy megjelenjen a ChatGPT keresésében, és közben letilthatja a GPTBotot, ezzel jelezve, hogy tartalma nem használható tanításra (az OpenAI dokumentációja). Az Anthropic hasonlóan elkülöníti a tanításra szolgáló ClaudeBotot, a keresési Claude-SearchBotot és a felhasználói kérdésekhez használt Claude-Usert (az Anthropic súgója).

A Google külön eset. Az AI Overviews és az AI Mode a Keresés része, ezért a hozzáférést a szokásos Googlebot szabályozza (Google Search Central). A Google-Extended nem rendelkezik saját User-Agenttel, a feltérképezést a Google szokásos robotjai végzik, a token pedig csak az Ön döntésének kifejezésére szolgál. Ezzel határozza meg, hogy weboldala tartalma felhasználható-e a Gemini-modellek jövőbeli generációinak tanításához és groundinghoz, vagyis ahhoz, hogy a modell a kérdés pillanatában tartalmat kapjon a Keresés indexéből, a Gemini-alkalmazásokban és a Vertex AI-ban. A weboldal Google Keresésbe való bekerülését nem befolyásolja, és rangsorolási jelként sem szolgál (a Google feltérképező robotjainak listája).

Robot vagy token	Üzemeltető	Cél a dokumentáció szerint	A tiltás következménye
GPTBot	OpenAI	Olyan tartalmat térképez fel, amely generatív alapmodellek tanítására használható	Jelzés, hogy a tartalom nem használható tanításra
OAI-SearchBot	OpenAI	Weboldalak megjelenítése a ChatGPT keresésében	Az oldal nem jelenik meg a ChatGPT keresési válaszaiban, navigációs linkként azonban megjelenhet
ChatGPT-User	OpenAI	Oldal felkeresése felhasználói művelet során, nem automatikus feltérképezés	A robots.txt szabályai nem feltétlenül érvényesülnek
ClaudeBot	Anthropic	Olyan tartalmat gyűjt, amely hozzájárulhat a modellek tanításához	Jelzés, hogy a weboldal jövőbeli tartalmát ki kell zárni a tanítóadatokból
Claude-SearchBot	Anthropic	A keresési találatok minőségének javítása	A tartalom nem kerül be a keresési indexbe, a láthatóság csökkenhet
Claude-User	Anthropic	Oldal lekérése egy felhasználó kérdésére	A Claude felhasználói kérdésre nem kéri le az Ön tartalmát, a láthatóság csökkenhet
Google-Extended	Google	Token a jövőbeli Gemini-modellek tanításához és a groundinghoz a Gemini-alkalmazásokban és a Vertex AI-ban	Nincs hatással a Google Keresésbe való bekerülésre és a rangsorolásra
Googlebot	Google	Google Keresés, az AI Overviews és az AI Mode funkciót is beleértve	Érinti a Google Keresést annak összes funkciójával együtt, valamint más termékeket, például a Google Képeket

A felhasználók által indított robotoknál gondolja végig, mit jelent a tiltás a gyakorlatban: az az ügyfél, aki közvetlenül az Ön cégéről kérdez egy AI-asszisztenst, nem feltétlenül kap választ az Ön aktuális weboldala alapján.

Szemléltető példa: ablakgyártó tanítás nélkül, de láthatósággal

Az alábbi példa kitalált. Egy regionális faablakgyártónak nyilvános termékoldalai, karbantartási útmutatókat tartalmazó blogja és beépítő cégeknek szóló árlistája van. A vezetés azt szeretné, hogy az ügyfelek megtalálják a céget a Google Keresésben, a ChatGPT-ben és a Claude-ban is, de nem szeretné, hogy az útmutatókat modellek tanítására használják. A partneri árlista egyáltalán nem lehet nyilvános.

A döntés: a Googlebot, az OAI-SearchBot, a Claude-SearchBot és a Claude-User engedélyezve marad, a GPTBot, a ClaudeBot és a Google-Extended tiltást kap. A cég tudatosan elfogadja, hogy a Google-Extended tiltása a groundingot is korlátozza a Gemini-alkalmazásokban és a Vertex AI-ban. A számára fontosabb Google Keresést ez nem érinti. Az árlista bejelentkezés mögé kerül.

Minta robots.txt ehhez a példához

# AI-modellek tanítása: nem engedélyezett
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Minden más robot, köztük a Googlebot, az OAI-SearchBot és a Claude-SearchBot
User-agent: *
Disallow: /kereses/

Mit tesz ez a fájl, és mit nem

Az első három csoport csak a megnevezett robotokra vonatkozik. Minden más robot, amelynek nincs saját csoportja, a szabvány szerint a * csoportot követi (RFC 9309), így nem térképezi fel a belső keresés találatait. Az árlista szándékosan hiányzik a fájlból: a robots.txt nyilvános, és a benne felsorolt útvonal éppen hogy elárulná.

Bevezetés hat lépésben

Maga a fájl csak néhány sor, a mögötte álló döntés azonban üzleti döntés. Ezt a folyamatot javasoljuk:

Cél szerint döntsön, ne a robot neve szerint. A tanításra, az AI-alapú keresésre és a felhasználói kérésekre külön döntést rögzítsen, azzal együtt, hogy ki hagyta jóvá. A robots.txt ezután csak a gyakorlatba ülteti át ezt a döntést.
Térképezze fel a domaineket és aldomaineket. Az Anthropic azt javasolja, hogy a tiltást minden olyan aldomainen állítsa be, amelyet ki szeretne zárni. Ezért ellenőrizze a külön aldomainen futó webáruházat, blogot, dokumentációt vagy ügyfélportált is.
A csoportokat a szabvány szerint írja meg. Az a robot, amely a saját nevével talál csoportot, csak azt követi; a * csoportot csak akkor használja, ha sajátja nincs. Ha tehát egy robotnak külön csoportot hoz létre, ismételje meg benne az összes szabályt, amelynek rá is vonatkoznia kell. Ütköző szabályok esetén a legspecifikusabb, azaz a leghosszabb útvonal-egyezés dönt (RFC 9309).
A nem nyilvános tartalmat védje bejelentkezéssel. A szabvány kifejezetten kimondja, hogy a robots.txt nem helyettesíti a biztonsági intézkedéseket, és a benne szereplő útvonalak nyilvánosan ismertté válnak. A hozzáférést hitelesítéssel szabályozza, például HTTP-hitelesítéssel vagy az alkalmazásba való bejelentkezéssel.
Ellenőrizze az infrastruktúrát, és vezesse be a változtatást. A Google emlékeztet arra, hogy a feltérképezést nemcsak a robots.txt-nek, hanem a CDN-nek és a tárhely-infrastruktúrának is engedélyeznie kell (Google Search Central). Ezért a tűzfalat és a botvédelmet is vizsgálja át. A bevezetés után nyissa meg a /robots.txt fájlt, és ellenőrizze a tartalmát. Számoljon késéssel: az OpenAI a keresésnél körülbelül 24 órát említ, a szabvány pedig azt ajánlja, hogy a robotok ne használják a fájl tárolt változatát 24 óránál tovább, ha a fájl elérhető.
Ellenőrizzen a naplókban, és rendszeresen vizsgálja felül a szabályokat. A gyanús kéréseket a forrás IP-címe alapján ellenőrizze, ahogyan a gyakori kérdéseknél leírjuk. Negyedévente vesse össze a szabályokat az üzemeltetők dokumentációjával, mert folyamatosan jelennek meg új robotok és jelzések.

Döntési táblázat: cél, beállítás és kompromisszum

A táblázat összekapcsolja az üzleti célt a beállítással, és azzal, amiről ezzel lemond. Az OpenAI, az Anthropic és a Google dokumentációján alapul.

A cég célja	Beállítás	Mire figyeljen
Megjelenés a Google Keresésben, az AI Overviews és az AI Mode funkciót is beleértve	A Googlebot engedélyezése; az oldalnak indexeltnek és kivonattal megjeleníthetőnek kell lennie	További technikai követelmény nincs, a megjelenés azonban nem garantált
A Gemini-modellek tanításának megtiltása	A Google-Extended tiltása	A Google Keresést és a rangsorolást nem befolyásolja, de a groundingot is korlátozza a Gemini-alkalmazásokban és a Vertex AI-ban
Megjelenés a ChatGPT keresésében tanítás nélkül	Az OAI-SearchBot engedélyezése, a GPTBot tiltása	A beállítások függetlenek; a változás a keresésben körülbelül 24 órán belül érvényesülhet
Megtalálhatóság a Claude-ban tanítás nélkül	A Claude-SearchBot és a Claude-User engedélyezése, a ClaudeBot tiltása	A ClaudeBotot megnevező szabály elsőbbséget élvez az általános preferenciajelzéssel szemben
Árlista vagy belső dokumentumok elrejtése	Bejelentkezés vagy HTTP-hitelesítés	A robots.txt nem védi a tartalmat, és a benne szereplő útvonalak nyilvánosak

Az AI Overviews funkcióhoz a Google nem ad meg külön tokent a robots.txt-ben. A Google szerint az AI a Keresés szerves része, a hozzáférés szabályozásának eszköze pedig a Googlebotra vonatkozó robots.txt (Google Search Central). Annak korlátozására, hogy oldalaiból mi jelenjen meg a Keresésben, a nosnippet, a data-nosnippet, a max-snippet vagy a noindex szolgál. Ezek a Keresésben való megjelenést szabályozzák, ezért mérlegelje a hatásukat a hagyományos találatokra is.

Általános, tanításra vonatkozó preferenciajelzések is megjelennek. Az Anthropic 2026. október 30. óta felismer egy géppel olvasható jelzést, amellyel a weboldal tulajdonosa kifejezi, hogy tartalma felhasználható-e AI-modellek tanítására. A jelzés az IETF aipref munkacsoportjának tervezetén alapul, és fokozatosan vezetik be (Anthropic). A Google közlése szerint a közös AIPREF-jelzés támogatását 2027 elejére tervezi (Google). Amíg a szabvány nem szilárdul meg, javasoljuk, hogy tartsa meg az egyes robotokra vonatkozó kifejezett szabályokat.

Ha nem a tanítás, hanem a szerver terhelése aggasztja, a teljes tiltás nem feltétlenül a legjobb megoldás. Az Anthropic támogatja a Crawl-delay bővítményt, amellyel lelassíthatja a robotjait. Ez nem szabványos direktíva, ezért más üzemeltetők nem feltétlenül tartják be.

Gyakori hibák az AI-robotok tiltása során

A beállításnál különösen ezekre a helyzetekre figyeljen:

A Googlebot tiltása az AI Overviews miatt. Ez a teljes Google Keresést érinti, nem csak az AI-funkciókat.
Saját csoport megismételt szabályok nélkül. Ha például az OAI-SearchBotnak külön csoportot ad, ez a robot többé nem követi a * csoport azon szabályait, amelyeket nem ismételt meg benne.
Titkos útvonalak a robots.txt-ben. A fájlt bárki elolvashatja, így a „rejtett” címek listája útjelzőként működik.
IP-címek blokkolása a robots.txt helyett. Az Anthropic figyelmeztet, hogy az ilyen tiltás nem feltétlenül működik megbízhatóan és tartósan, mert megakadályozza, hogy a robot elolvassa a robots.txt fájlt.
Elfelejtett aldomainek. A fő domain szabályai nem vonatkoznak az aldomainen futó webáruházra vagy dokumentációra.
A saját szabályaival ellentétesen működő CDN-védelem. A tűzfal vagy a botvédelem blokkolhat egy olyan robotot is, amelyet a robots.txt engedélyez, és a láthatóság nyilvánvaló ok nélkül csökkenhet.

Ellenőrzőlista a bevezetés előtt

A változtatás közzététele előtt menjen végig ezeken a pontokon, és az eredményt mentse el a döntés mellé:

A tanításra, az AI-alapú keresésre és a felhasználói kérésekre vonatkozó döntés le van írva és jóvá van hagyva.
A robots.txt minden olyan domainen és aldomainen be van állítva, amelyet szabályozni szeretne.
Minden saját csoporttal rendelkező robot csoportjában szerepel az összes rá vonatkozó szabály.
A Googlebot nincs letiltva, ha meg szeretne jelenni a Google Keresésben.
A nem nyilvános tartalom bejelentkezés mögött van, nem csak a robots.txt-ben szerepel.
Sem a CDN, sem a tűzfal, sem a tárhely nem blokkolja az engedélyezni kívánt robotokat.
A naplók rögzítik a User-Agentet és az IP-címet is, a gyanús kéréseket pedig a közzétett listák alapján ellenőrzi.
Ki van jelölve a következő felülvizsgálat időpontja és a felelős személy.

Gyakori kérdések

Kiesik a weboldal a Google-ból, ha letiltom a Google-Extendedet?

Nem. A Google szerint a Google-Extended nem befolyásolja a weboldal Google Keresésbe való bekerülését, és nem rangsorolási jel. A tartalom felhasználását korlátozza a jövőbeli Gemini-modellek tanításához, valamint a groundinghoz a Gemini-alkalmazásokban és a Vertex AI-ban.

Kikapcsolható csak az AI Overviews, a hagyományos találatok megtartásával?

A Google ehhez nem ad meg külön tokent a robots.txt-ben. A Keresést, az AI-funkciókat is beleértve, a Googlebot szabályozza, a megjelenített tartalmat pedig a nosnippet, a data-nosnippet, a max-snippet vagy a noindex segítségével korlátozhatja. Mivel ezek a Keresést szabályozzák, a változtatást először a weboldal egy kis részén próbálja ki, és kövesse a hatását.

Eltávolítja a GPTBot vagy a ClaudeBot tiltása a már összegyűjtött tartalmat?

A dokumentáció a tiltást a további felhasználásra vonatkozó jelzésként írja le. Az OpenAI szerint a GPTBot tiltása azt jelzi, hogy a tartalom nem használható tanításra, az Anthropic pedig a ClaudeBotnál kifejezetten a weboldal jövőbeli anyagairól beszél. A már összegyűjtött adatok eltávolítását ezek az oldalak nem ígérik. Ha ezt kell rendeznie, forduljon közvetlenül a szolgáltatás üzemeltetőjéhez.

Hogyan ellenőrizhetem, hogy valóban az OpenAI, az Anthropic vagy a Google robotjáról van szó?

Ne hagyatkozzon csak a User-Agentre, azt maga a kliens küldi. Vesse össze a forrás IP-címét az OpenAI és az Anthropic által közzétett listákkal. A Google esetében ellenőrizze, hogy a cím a közös feltérképező robotok közzétett tartományaiba tartozik-e, és hogy a fordított DNS googlebot.com végződésű-e, ahogyan azt a Google dokumentációja leírja.

Szeretné kézben tartani az AI-robotokra vonatkozó szabályokat?

Segítünk az üzleti döntést működő beállítássá alakítani: megtervezzük a robots.txt-t az összes domainhez és aldomainhez, átvizsgáljuk a tárhelyet, a CDN-t és a botvédelmet, és előkészítjük a naplókban történő ellenőrzést. Új és meglévő weboldalak technikai beállításában weboldalkészítés szolgáltatásunk keretében segítünk. Ha a mesterséges intelligenciát saját folyamataiban is használná, nézze meg egyedi AI-ügynökök szolgáltatásunkat. A kapcsolatfelvételi oldalon küldje el nekünk a weboldal címét, és azt, hogy mit szeretne elérni. További gyakorlati útmutatókat a Webiant blogján talál.