A naplókból szűrje ki és ellenőrizze a keresőrobotokat, csoportosítsa a kéréseiket URL-típus, állapot és válaszidő szerint, majd vesse össze őket a kanonikus oldalakkal, a sitemappel és a migrációval.
A crawl eszköz megmutatja, hová juthat el a robot a belső hivatkozásokon keresztül. A szervernapló megmutatja, mely URL-eket kérte le ténylegesen a robot, mikor, milyen állapotkóddal, és milyen gyorsan válaszolt a szerver. Ez a különbség nagy webhelyeknél, migráció után, illetve akkor fontos, ha felmerül a gyanú, hogy a keresőmotor régi és értéktelen címekre fordít figyelmet.
A naplóelemzés közvetlenül nem tárja fel sem az indexelés okát, sem a tartalom értékelését. Olyan technikai forrás, amelyet össze kell kapcsolni a sitemappel, a belső feltérképezéssel, az indexelési jelentésekkel és az oldalak adatbázisával. Ha az adatok megfelelően meg vannak tisztítva és biztonságosan vannak feldolgozva, segítenek a javítások rangsorolásában a robotok valós viselkedése alapján.
Milyen mezőkre van szüksége, és honnan szerezhetők be
Egy hasznos naplóbejegyzés tartalmazza az időpontot időzónával, a kért útvonalat és a query stringet, a HTTP-metódust, az állapotkódot, az átvitt méretet, a user-agentet és a válaszidőt. A referrer és az IP-cím segíthet az ellenőrzésben, de növeli az adatok érzékenységét. A tárhely vagy a CDN csak a mezők egy részét és eltérő ideig tárolhatja, ezért az exportot a vizsgálni kívánt időszak előtt egyeztesse.
CDN, reverse proxy vagy több szerver mögött működő webhelynél egységesítse a formátumot és az időt. Ellenőrizze, hogy a napló rögzíti-e az eredeti kérést és az alkalmazás válaszát is, és hogy a belső monitorozás nem generál-e hamis forgalmat. A fájlok nagyok lehetnek; dolgozza fel őket ellenőrzött környezetben, és határozzon meg megfelelő megőrzési időt a biztonsági és szakmailag értékelt adatvédelmi szabályok szerint.
A robot identitása nem állapítható meg pusztán a user-agentből
Bárki beírhatja egy ismert robot nevét a kérésbe. A jelentős crawlerek elemzésekor alkalmazza az üzemeltetőjük által ajánlott ellenőrzési eljárást, például az IP-tartományok ellenőrzését vagy a fordított, majd az azt követő előre irányuló DNS-lekérdezést. Az eredményt megfelelő ideig gyorsítótárazza, hogy maga az ellenőrzés ne lassítsa a feldolgozást és ne terhelje a DNS-t.
Különítse el a fő keresőrobotokat, a képcrawlereket, a hirdetési ellenőrzéseket, az SEO-eszközöket és a nem ellenőrzött automatizált kéréseket. Mindegyik csoportnak más a célja. A helytelen összevonás azt a benyomást keltheti, hogy a keresőmotor intenzíven látogat olyan URL-eket, amelyeket valójában egy belső crawler vagy egy rosszindulatú bot próbálgat.
- személyazonosság ellenőrzése a hivatalos eljárás szerint
- a robottípusok és céljuk elkülönítése
- normalizált időzóna és URL
- a monitorozás és a belső tesztek kizárása
Az URL-ek csoportosítása feltárja a rendszerszintű problémát
Az egyes címeket csoportosítsa sablon szerint: termék, kategória, cikk, szűrő, belső keresés, média vagy API. Ezután bontsa őket tovább kanonikus állapot, sitemapben való jelenlét és indexelhetőség szerint. Így látni fogja, hogy a robot a fő tartalmat látogatja-e, vagy nagy mennyiségű paramétert és régi átirányítást.
Elemezze a visszatérések gyakoriságát és az új URL első látogatását. Egy fontos oldal, amelyre nem érkezik feltérképezési kérés, gyenge belső linkelésben vagy hiányzó felfedezésben szenvedhet. Egy értéktelen cím gyakori látogatása viszont olyan linkforrásra, sitemapre vagy korábbi mintára utal, amelyet rendbe kell tenni. A gyakoriságot önmagában azonban ne értelmezze minőségi értékelésként.
Állapotkódok és válaszidő kontextusban
Mérje a sikeres válaszok, az átirányítások, a 404-es, a 429-es és a szerverhibák arányát robotonként és sablononként. Az átirányítási láncok növelik a kérések számát, és migráció után elrejthetik a régi struktúrát. Az adott időpontban ismétlődő 5xx hibák vagy időtúllépések kapacitás- vagy alkalmazásproblémára utalnak, amelyet a csúcsidőn kívüli szokásos feltérképezés nem mutat ki.
A válaszidőt hasonló típusú oldalak között és időben hasonlítsa össze. Egy lassú API-útvonal nem feltétlenül befolyásolja a HTML-crawlt, míg egy sok adatbázis-lekérdezést futtató lassú kategória igen. Ne vonjon le következtetést átlagból a szélsőértékek szétválasztása nélkül. Jegyezze fel a cache, a tárhely és a kiadások változásait, hogy a trendnek legyen üzemeltetési kontextusa.
Megismételhető riport és döntések
A riportnak néhány kérdésre kell választ adnia: mely értékes sablonokat látogatja a robot, mit hagy figyelmen kívül, hol vesznek kárba a kérései, és mely hibák ismétlődnek. Minden megállapításnál adja meg az URL-mintát, a bizonyítékot, a valószínű okot, a felelőst és a javasolt tesztet. Döntés nélkül egy több millió soros export sem a tartalmi, sem a fejlesztői csapatnak nem segít.
A javítás után hasonlítsa össze ugyanazt az időszakot és ugyanazokat a szegmenseket. Figyelje, hogy a robot abbahagyta-e az eltávolított minta látogatását, csökkentek-e a láncok, és hamarabb felfedezi-e az új, fontos URL-eket. Nagy webhelynél automatizálja a rendszeres áttekintést, de migrációk és anomáliák esetén tartsa meg a manuális értelmezést. A naplók a szerverhez érkezett kérést igazolják, nem az indexelést vagy a helyezést.
- azonos időablak és URL-csoportok
- kiadások, kiesések és migrációk annotációi
- minden javasolt beavatkozás egyértelmű felelőse
Gyakori kérdések
Minden SEO-audithoz szükségesek a szervernaplók?
Nem. Kis webhelynél gyakran elegendők a feltérképezési és indexelési adatok. A naplók rendkívül hasznosak nagy URL-tér, migráció, feltérképezési csapdák és instabil üzem esetén.
Megbízhatunk a Googlebot névben a user-agentben?
Ellenőrzés nélkül nem. A user-agent hamisítható. Használja az aktuális, hivatalosan ajánlott IP- vagy DNS-alapú ellenőrzési módszert, és különítse el a nem ellenőrzött kéréseket.
Megmutatja a napló, hogy az oldal indexelve van-e?
Nem. Azt mutatja meg, hogy a szerver fogadta a kérést, és hogyan válaszolt. Az indexelést további forrásokkal kell ellenőrizni, és a canonical, a tartalom és a belső linkek figyelembevételével kell értékelni.
Források és további olvasnivaló
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
