Z logów należy odfiltrować i zweryfikować roboty wyszukiwarek, pogrupować ich żądania według typu URL, statusu i czasu odpowiedzi oraz porównać je ze stronami kanonicznymi, mapą witryny i migracją.
Narzędzie do crawlowania pokazuje, dokąd robot może dotrzeć za pomocą linków wewnętrznych. Log serwera pokazuje, o które adresy URL robot faktycznie poprosił, kiedy, z jakim kodem statusu i jak szybko serwer odpowiedział. Ta różnica ma znaczenie w przypadku dużych serwisów, po migracji lub przy podejrzeniu, że wyszukiwarka poświęca uwagę starym i bezwartościowym adresom.
Analiza logów nie ujawnia bezpośrednio przyczyny indeksowania ani oceny treści. Jest to źródło techniczne, które należy połączyć z mapą witryny, wewnętrznym crawlingiem, raportami indeksowania i bazą stron. Prawidłowo oczyszczone i bezpiecznie przetworzone dane pomagają priorytetyzować poprawki na podstawie rzeczywistego zachowania robotów.
Jakich pól potrzebujesz i skąd je pozyskać
Użyteczny wpis zawiera czas ze strefą czasową, żądaną ścieżkę i query string, metodę HTTP, kod statusu, rozmiar przesłanych danych, user-agent i czas odpowiedzi. Referrer i adres IP mogą pomóc w weryfikacji, ale zwiększają wrażliwość danych. Hosting lub CDN może przechowywać tylko część pól i przez inny okres, dlatego eksport uzgodnijcie przed okresem, który chcecie analizować.
W przypadku strony działającej za CDN, odwrotnym proxy lub na wielu serwerach proszę ujednolicić format i czas. Należy sprawdzić, czy log rejestruje zarówno pierwotne żądanie, jak i odpowiedź aplikacji oraz czy wewnętrzny monitoring nie generuje fałszywego ruchu. Pliki mogą być duże; należy je przetwarzać w kontrolowanym środowisku i określić odpowiedni okres przechowywania zgodnie z zasadami bezpieczeństwa i fachowo ocenionymi zasadami prywatności.
Tożsamości robota nie można ustalić wyłącznie na podstawie user-agenta
Każdy może wpisać w żądaniu nazwę znanego robota. Przy analizie istotnych crawlerów należy stosować metodę weryfikacji zalecaną przez ich operatora, na przykład sprawdzenie zakresów IP lub odwrotnego i następnie zwykłego zapytania DNS. Wynik warto odpowiednio cache’ować, aby sama weryfikacja nie spowalniała przetwarzania i nie obciążała DNS.
Oddziel główne roboty wyszukiwarek, crawlery obrazów, kontrole reklamowe, narzędzia SEO i niezweryfikowane zautomatyzowane żądania. Każda grupa ma inny cel. Błędne połączenie może stworzyć wrażenie, że wyszukiwarka intensywnie odwiedza adresy URL, które w rzeczywistości sprawdza wewnętrzny crawler lub złośliwy bot.
- weryfikacja tożsamości zgodnie z oficjalną procedurą
- rozdzielenie typów robotów i ich przeznaczenia
- znormalizowana strefa czasowa i URL
- wykluczenie monitoringu i testów wewnętrznych
Grupowanie adresów URL ujawni problem systemowy
Poszczególne adresy proszę pogrupować według szablonu: produkt, kategoria, artykuł, filtr, wyszukiwanie wewnętrzne, plik multimedialny lub API. Następnie podzielić je według stanu kanonicznego, obecności w mapie witryny i możliwości indeksowania. W ten sposób zobaczą Państwo, czy robot odwiedza główną treść, czy dużą liczbę parametrów i starych przekierowań.
Proszę przeanalizować częstotliwość powrotów robota oraz pierwszą wizytę pod nowym adresem URL. Ważna strona bez żądań crawlowania może cierpieć z powodu słabego linkowania wewnętrznego lub braku wykrycia. Częste wizyty pod mało wartościowym adresem wskazują natomiast źródło linków, mapę witryny lub historyczny wzorzec, który należy uporządkować. Samej częstotliwości nie należy jednak interpretować jako oceny jakości.
Kody statusu i czas odpowiedzi w kontekście
Proszę zmierzyć udział odpowiedzi zakończonych powodzeniem, przekierowań, 404, 429 i błędów serwera według robota i szablonu. Łańcuchy przekierowań zwiększają liczbę żądań, a po migracji mogą ukrywać starą strukturę. Powtarzające się błędy 5xx lub timeouty o określonej porze wskazują na problem z wydajnością lub aplikacją, którego zwykłe skanowanie poza godzinami szczytu nie wychwyci.
Czas odpowiedzi należy porównywać między podobnymi typami stron oraz w czasie. Wolna ścieżka API nie musi wpływać na crawl HTML, natomiast wolna kategoria z dużą liczbą zapytań do bazy danych już tak. Nie należy wyciągać wniosków ze średniej bez wyodrębnienia wartości skrajnych. Zmiany cache, hostingu i wydań warto rejestrować, aby trend miał kontekst operacyjny.
Powtarzalny raport i decyzje
Raport powinien odpowiadać na kilka pytań: które wartościowe szablony robot odwiedza, co ignoruje, gdzie traci żądania i które błędy się powtarzają. Przy każdym ustaleniu proszę podać wzorzec URL, dowód, prawdopodobną przyczynę, właściciela i proponowany test. Eksport milionów wierszy bez podjęcia decyzji nie pomoże ani zespołowi treści, ani zespołowi programistów.
Po wprowadzeniu poprawek proszę porównać ten sam okres i te same segmenty. Warto sprawdzić, czy robot przestał odwiedzać usunięty wzorzec, czy zmniejszyła się liczba łańcuchów przekierowań i czy nowe ważne adresy URL są wykrywane szybciej. W przypadku dużej witryny regularny przegląd warto zautomatyzować, ale przy migracjach i anomaliach należy zachować ręczną interpretację. Logi potwierdzają żądanie do serwera, a nie indeksację ani pozycję.
- to samo okno czasowe i grupy URL
- adnotacje wydań, awarii i migracji
- jasny właściciel każdej proponowanej interwencji
Najczęstsze pytania
Czy logi serwera są potrzebne do każdego audytu SEO?
Nie. Przy małej stronie często wystarczą dane z crawlowania i indeksowania. Logi są niezwykle przydatne przy dużej przestrzeni URL, migracji, pułapkach dla robotów i niestabilnym działaniu.
Czy można ufać nazwie Googlebot w user-agencie?
Nie bez weryfikacji. User-agent można podrobić. Należy stosować aktualny, oficjalnie zalecany sposób weryfikacji IP lub DNS i oddzielać niezweryfikowane żądania.
Czy log pokaże, że strona jest zaindeksowana?
Nie. Pokazuje, że serwer przyjął żądanie i jak na nie odpowiedział. Indeksację należy zweryfikować w innych źródłach i oceniać łącznie z canonical, treścią i linkami wewnętrznymi.
Źródła i dalsza lektura
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
