Z logů odfiltrujte a ověřte vyhledávací roboty, seskupte jejich požadavky podle typu URL, stavu a odezvy a porovnejte je s kanonickými stránkami, sitemapou a migrací.
Crawl nástroj ukáže, kam se robot může dostat po interních odkazech. Serverový log ukáže, které URL robot skutečně požadoval, kdy, s jakým stavem a jak rychle server odpověděl. Tento rozdíl je důležitý u velkých webů, po migraci nebo při podezření, že vyhledávač věnuje pozornost starým a bezcenným adresám.
Analýza logů přímo neodhaluje důvod indexace ani hodnocení obsahu. Je to technický zdroj, který je třeba propojit se sitemapou, interním crawlem, přehledy indexace a databází stránek. Když jsou data správně vyčištěna a bezpečně zpracována, pomohou prioritizovat opravy podle reálného chování robotů.
Jaká pole potřebujete a odkud je získat
Užitečný záznam obsahuje čas s časovým pásmem, požadovanou cestu a query string, HTTP metodu, stavový kód, přenesenou velikost, user-agent a dobu odezvy. Referrer a IP mohou pomoci při ověření, ale zvyšují citlivost dat. Hosting nebo CDN může uchovávat jen část polí a po jinou dobu, proto si export domluvte ještě před obdobím, které chcete zkoumat.
U webu za CDN, reverzní proxy nebo více servery sjednoťte formát a čas. Ověřte, zda log zachycuje původní požadavek i odpověď aplikace a zda interní monitoring nevytváří falešnou návštěvnost. Soubory mohou být velké; zpracovávejte je v kontrolovaném prostředí a stanovte přiměřenou dobu uchovávání podle bezpečnostních a odborně posouzených pravidel ochrany soukromí.
Identitu robota nelze určit pouze z user-agentu
Kdokoli může do požadavku napsat název známého robota. Při analýze významných crawlerů použijte postup ověření doporučený jejich provozovatelem, například kontrolu rozsahů IP adres nebo reverzního a následného DNS. Výsledek přiměřeně cachujte, aby samotné ověřování nezpomalovalo zpracování a nezatěžovalo DNS.
Oddělte hlavní vyhledávací roboty, obrázkové crawlery, reklamní kontroly, SEO nástroje a neověřené automatizované požadavky. Každá skupina má jiný účel. Nesprávné sloučení může vyvolat dojem, že vyhledávač intenzivně navštěvuje URL, které ve skutečnosti zkouší interní crawler nebo škodlivý bot.
- ověření identity podle oficiálního postupu
- oddělení typů robotů a jejich účelu
- normalizované časové pásmo a URL
- vyloučení monitoringu a interních testů
Seskupení URL odhalí systémový problém
Jednotlivé adresy seskupte podle šablony: produkt, kategorie, článek, filtr, interní vyhledávání, médium nebo API. Dále je rozdělte podle kanonického stavu, přítomnosti v sitemapě a indexovatelnosti. Tak uvidíte, zda robot navštěvuje hlavní obsah, nebo velké množství parametrů a starých přesměrování.
Analyzujte frekvenci návratů a první návštěvu nové URL. Důležitá stránka bez crawl požadavku může trpět slabým interním prolinkováním nebo chybějícím objevením. Častá návštěva nehodnotné adresy naopak ukazuje na zdroj odkazů, sitemapu nebo historický vzor, který je třeba uklidit. Samotnou frekvenci však neinterpretujte jako hodnocení kvality.
Stavové kódy a doba odezvy v kontextu
Změřte podíl úspěšných odpovědí, přesměrování, 404, 429 a serverových chyb podle robota a šablony. Řetězce přesměrování zvyšují počet požadavků a po migraci mohou skrývat starou mapu. Opakované 5xx nebo timeouty v konkrétním čase naznačují kapacitní či aplikační problém, který běžný crawl mimo špičku nezachytí.
Dobu odezvy porovnávejte mezi podobnými typy stránek a v čase. Pomalá cesta API nemusí ovlivnit HTML crawl, kdežto pomalá kategorie s množstvím databázových dotazů ano. Nevyvozujte závěr z průměru bez rozdělení extrémů. Zaznamenávejte změny cache, hostingu a vydání, aby měl trend provozní kontext.
Opakovatelný report a rozhodnutí
Report má odpovědět na několik otázek: které hodnotné šablony robot navštěvuje, co ignoruje, kde ztrácí požadavky a které chyby se opakují. U každého zjištění uveďte vzor URL, důkaz, pravděpodobnou příčinu, vlastníka a navržený test. Export milionů řádků bez rozhodnutí nepomůže obsahovému ani vývojovému týmu.
Po opravě porovnejte stejné období a segmenty. Sledujte, zda robot přestal navštěvovat odstraněný vzor, zda se snížily řetězce a zda nové důležité URL objevuje dříve. U velkého webu automatizujte pravidelný přehled, ale při migracích a anomáliích zachovejte ruční interpretaci. Logy dokazují požadavek na server, nikoli indexaci ani pozici.
- stejné časové okno a skupiny URL
- anotace vydání, výpadků a migrací
- jasný vlastník každého navrženého zásahu
Časté dotazy
Jsou serverové logy potřebné pro každý SEO audit?
Ne. U malého webu často postačí data z procházení a indexace. Logy jsou mimořádně užitečné u velkého prostoru URL, migrace, crawl pastí a nestabilního provozu.
Dá se věřit názvu Googlebot v user-agentu?
Ne bez ověření. User-agent lze napodobit. Použijte aktuální oficiálně doporučený způsob ověření IP nebo DNS a neověřené požadavky oddělte.
Ukáže log, zda je stránka indexovaná?
Ne. Ukáže, že server přijal požadavek a jak odpověděl. Indexaci je třeba ověřit dalšími zdroji a posuzovat spolu s canonical, obsahem a interními odkazy.
Zdroje a další čtení
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
