Crawl budget zlepšujte odstraněním crawl pastí a duplicit, rychlou a stabilní odezvou serveru, přesnými sitemapami, čistými interními odkazy a pravidelnou analýzou logů robotů.
Crawl budget popisuje, kolik URL a s jakou frekvencí je vyhledávací robot ochoten a schopen na webu procházet. U malé firemní prezentace obvykle není hlavní překážkou SEO. Důležitějším se stává u velkých katalogů, archivů, marketplace projektů nebo webů, které vytvářejí množství parametrů a duplicitních adres.
Cílem není přimět robota navštívit každou URL každý den. Potřebujete, aby věnoval kapacitu stránkám s jedinečným a aktuálním obsahem a neplýtval jí v nekonečných filtrech, kalendářích či chybových smyčkách. Řízení crawl budgetu proto propojuje architekturu webu, serverové logy, interní odkazy, stavové kódy a kvalitu indexovatelných stránek.
Kdy je crawl budget skutečným problémem
Nejprve porovnejte počet hodnotných indexovatelných stránek s počtem URL, které web technicky vytváří. Pokud katalog obsahuje stovky produktů, ale filtry generují statisíce kombinací, robot může opakovaně navštěvovat varianty bez samostatné hodnoty. Podobný problém vzniká u session identifikátorů, interního vyhledávání, tiskových verzí, nekonečných kalendářů nebo chybných relativních odkazů.
Pomalé objevení nové stránky nemusí automaticky znamenat nedostatek crawl budgetu. Zkontrolujte, zda na ni vede interní odkaz, je v sitemapě, vrací úspěšný stav a není blokovaná či kanonizovaná jinam. Malý web často potřebuje lepší informační architekturu a hodnotnější obsah, nikoli technické mikrořízení robotů.
Serverové logy ukážou skutečné chování robotů
Logy webového serveru zachycují požadovanou URL, čas, stavový kód, user-agent a často i dobu odezvy. Identitu významných robotů ověřte podle postupu doporučeného jejich provozovatelem; název user-agentu lze napodobit. Seskupte požadavky podle typu stránky, parametru, stavu a četnosti, abyste viděli, kam kapacita procházení skutečně směřuje.
Hledejte velký podíl přesměrování, chyb, parametrů, nekanonických URL a stránek bez organické hodnoty. Porovnejte logy se sitemapou, analytikou a databází indexovatelných stránek. Jednorázový výřez může být zkreslený sezónou nebo nasazením, proto sledujte trend a uchovávejte logy přiměřeně bezpečně; mohou obsahovat IP adresy a další provozní údaje.
- požadavky robotů podle šablony a stavu
- doba odezvy a opakované serverové chyby
- nekanonické URL a zbytečné parametry
- nové důležité stránky bez návštěvy robota
Odstraňte crawl pasti u zdroje
Nejlepší řešení zabrání vytvoření nadbytečné URL i interním odkazům na ni. U filtrů povolte pouze kombinace s jasnou poptávkou ve vyhledávání a jedinečným obsahem. Kalendář omezte na reálné období, interní vyhledávání nenabízejte robotům jako nekonečný adresář a session údaje nevkládejte do URL. Stabilní parametry pomáhají také analytice a cache.
Robots.txt může omezit procházení známých vzorů, ale neodstraní již známou URL z indexu a robot pak neuvidí její meta pokyny. Noindex naopak vyžaduje procházení. Kanonická značka je signál pro výběr preferované verze, nikoli nástroj na opravu nekonečného prostoru. Volte mechanismus podle cíle a před blokováním ověřte, že neodříznete potřebné zdroje.
Sitemap a interní odkazy mají vyjadřovat priority
XML sitemapa obsahuje pouze kanonické, indexovatelné URL s úspěšnou odpovědí. Rozdělte ji podle typu obsahu, pokud to usnadní diagnostiku, a datum změny aktualizujte pouze při věcné úpravě. Sitemapa pomáhá s objevováním obsahu, ale nenahrazuje interní odkazy a sama o sobě nezaručuje indexaci.
Důležité stránky přibližte k relevantním hubům a propojujte je popisným textem odkazu. Odstraňte odkazy na přesměrování, chyby a nepotřebné varianty. U velkého katalogu dbejte na to, aby navigace vytvořená JavaScriptem poskytovala robotům skutečné odkazy. Interní architektura má odrážet obchodní a informační hodnotu, nikoli pouze datum vytvoření záznamu.
Změny měřte přes objevení a indexaci
Před úpravou si zaznamenejte podíl crawl požadavků na hodnotné a zbytečné šablony, počet chyb, dobu odezvy a dobu objevení nových URL. Po nasazení sledujte stejné ukazatele po dostatečně dlouhé období. Pokles celkového crawlu může být pozitivní, pokud robot přestal navštěvovat pasti a nové důležité stránky objevuje spolehlivěji.
Při každé větší změně filtrů, navigace nebo při migraci zopakujte analýzu logů. Nastavte upozornění na prudký nárůst unikátních URL, parametrů a serverových chyb. Crawl budget není jednorázové číslo, které je třeba maximalizovat. Je to provozní důsledek kvalitní URL architektury, stabilního serveru a jasného výběru indexovatelného obsahu.
Časté dotazy
Potřebuje malý firemní web řešit crawl budget?
Obvykle ne jako samostatnou prioritu. Nejprve opravte indexovatelnost, interní odkazy, obsah a technické chyby. Crawl budget zkoumejte, pokud web vytváří výrazně více URL než hodnotných stránek.
Zvýší sitemap crawl budget?
Sitemap pomáhá s objevováním a diagnostikou preferovaných URL, sama však kapacitu nezaručuje. Musí obsahovat čisté kanonické stránky a fungovat společně s interní architekturou.
Máme zablokovat všechny parametry v robots.txt?
Ne bez analýzy. Některé parametry mohou vést k hodnotnému obsahu nebo zdrojům. Nejprve klasifikujte jejich účel a ověřte dopad blokování na procházení i indexaci.
Zdroje a další čtení
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
