A crawl budgetet a crawl csapdák és duplikációk megszüntetésével, gyors és stabil szerverválasszal, pontos sitemapekkel, tiszta belső linkekkel és a robotnaplók rendszeres elemzésével javítsa.
A crawl budget azt írja le, hogy a keresőrobot hány URL-t és milyen gyakorisággal hajlandó és képes feltérképezni egy webhelyen. Egy kis céges bemutatkozó oldal esetében általában nem ez a SEO fő akadálya. Nagy katalógusoknál, archívumoknál, marketplace projekteknél vagy olyan webhelyeknél válik fontosabbá, amelyek rengeteg paramétert és duplikált címet hoznak létre.
A cél nem az, hogy a robotot minden URL napi meglátogatására kényszerítse. Arra van szükség, hogy kapacitását az egyedi és naprakész tartalmú oldalakra fordítsa, és ne vesztegesse végtelen szűrőkre, naptárakra vagy hibahurkokra. A crawl budget kezelése ezért összekapcsolja a webhely architektúráját, a szervernaplókat, a belső hivatkozásokat, az állapotkódokat és az indexelhető oldalak minőségét.
Mikor jelent valódi problémát a crawl budget?
Először vesse össze az értékes, indexelhető oldalak számát azoknak az URL-eknek a számával, amelyeket a webhely technikailag létrehoz. Ha a katalógus több száz terméket tartalmaz, a szűrők viszont több százezer kombinációt generálnak, a robot ismételten látogathat önálló érték nélküli változatokat. Hasonló probléma keletkezik a munkamenet-azonosítóknál, a belső keresésnél, a nyomtatási verzióknál, a végtelen naptáraknál vagy a hibás relatív hivatkozásoknál.
Egy új oldal lassú felfedezése nem feltétlenül jelenti a crawl budget hiányát. Ellenőrizze, hogy mutat-e rá belső hivatkozás, szerepel-e a sitemapben, sikeres állapotkódot ad-e vissza, és nincs-e blokkolva vagy máshová kanonizálva. Egy kis weboldalnak gyakran jobb információs architektúrára és értékesebb tartalomra van szüksége, nem a robotok technikai mikromenedzselésére.
A szervernaplók megmutatják a robotok valós viselkedését
A webszerver naplói rögzítik a kért URL-t, az időpontot, az állapotkódot, a user-agentet és gyakran a válaszidőt is. A jelentős robotok azonosságát az üzemeltetőjük által ajánlott módon ellenőrizze; a user-agent neve hamisítható. Csoportosítsa a kéréseket oldaltípus, paraméter, állapot és gyakoriság szerint, hogy lássa, merre irányul ténylegesen a feltérképezési kapacitás.
Keresse az átirányítások, hibák, paraméterek, nem kanonikus URL-ek és organikus értékkel nem rendelkező oldalak magas arányát. Vesse össze a naplókat az oldaltérképpel, az analitikával és az indexelhető oldalak adatbázisával. Egy egyszeri kivonatot torzíthat a szezon vagy egy telepítés, ezért kövesse a trendet, és a naplókat megfelelően biztonságosan tárolja; IP-címeket és egyéb üzemeltetési adatokat tartalmazhatnak.
- robotkérések sablon és állapot szerint
- válaszidő és ismétlődő szerverhibák
- nem kanonikus URL-ek és felesleges paraméterek
- új fontos oldalak, amelyeket a robot még nem látogatott meg
Szüntesse meg a crawl csapdákat a forrásnál
A legjobb megoldás megakadályozza a felesleges URL létrejöttét és a rá mutató belső hivatkozásokat. A szűrőknél csak az egyértelmű keresési igénnyel és egyedi tartalommal rendelkező kombinációkat engedélyezze. A naptárat korlátozza valós időszakra, a belső keresést ne kínálja a robotoknak végtelen könyvtárként, és ne helyezzen munkamenet-adatokat az URL-be. A stabil paraméterek az analitikát és a gyorsítótárat is segítik.
A robots.txt korlátozhatja az ismert minták feltérképezését, de nem távolítja el a már ismert URL-t az indexből, és a robot ezután nem látja annak meta utasításait. A noindex viszont feltérképezést igényel. A kanonikus címke a preferált verzió kiválasztására szolgáló jelzés, nem eszköz a végtelen URL-tér javítására. A mechanizmust a cél szerint válassza meg, és letiltás előtt ellenőrizze, hogy nem zár el szükséges erőforrásokat.
A sitemapnek és a belső hivatkozásoknak a prioritásokat kell kifejezniük
Az XML oldaltérkép csak kanonikus, indexelhető, sikeres választ adó URL-eket tartalmaz. Ossza fel tartalomtípus szerint, ha ez megkönnyíti a diagnosztikát, a módosítás dátumát pedig csak érdemi változtatáskor frissítse. Az oldaltérkép segíti a felfedezést, de nem helyettesíti a belső hivatkozásokat, és önmagában nem garantálja az indexelést.
A fontos oldalakat hozza közelebb a releváns hubokhoz, és kapcsolja össze őket leíró hivatkozásszöveggel. Távolítsa el az átirányításokra, hibákra és felesleges változatokra mutató hivatkozásokat. Nagy katalógusnál ügyeljen arra, hogy a JavaScripttel létrehozott navigáció valódi hivatkozásokat kínáljon a robotoknak. A belső architektúrának az üzleti és információs értéket kell tükröznie, nem csupán a bejegyzés létrehozásának dátumát.
A változásokat a felfedezésen és az indexelésen keresztül mérje
Módosítás előtt rögzítse, hogy a feltérképezési kérések mekkora hányada esik értékes és felesleges sablonokra, valamint a hibák számát, a válaszidőt és az új URL-ek felfedezésének idejét. Telepítés után ugyanezeket a mutatókat elegendően hosszú ideig kövesse. Az összes feltérképezés csökkenése pozitív is lehet, ha a robot már nem látogatja a csapdákat, és megbízhatóbban fedezi fel az új, fontos oldalakat.
A szűrők vagy a navigáció minden nagyobb változtatásakor, illetve migráció után ismételje meg a naplóelemzést. Állítson be riasztást az egyedi URL-ek, a paraméterek és a szerverhibák hirtelen növekedésére. A crawl budget nem egy egyszeri szám, amelyet maximalizálni kell, hanem a minőségi URL-architektúra, a stabil szerver és az indexelhető tartalom egyértelmű kiválasztásának üzemeltetési következménye.
Gyakori kérdések
Foglalkoznia kell egy kis céges weboldalnak a crawl budgettel?
Önálló prioritásként általában nem. Először javítsa az indexelhetőséget, a belső hivatkozásokat, a tartalmat és a technikai hibákat. A crawl budgetet akkor vizsgálja, ha a weboldal lényegesen több URL-t hoz létre, mint ahány értékes oldala van.
Növeli a sitemap a crawl budgetet?
A sitemap segíti a preferált URL-ek felfedezését és diagnosztikáját, de önmagában nem garantál kapacitást. Tiszta kanonikus oldalakat kell tartalmaznia, és a belső architektúrával összhangban kell működnie.
Le kell tiltanunk az összes paramétert a robots.txt-ben?
Elemzés nélkül nem. Egyes paraméterek értékes tartalomhoz vagy erőforrásokhoz vezethetnek. Először osztályozza a céljukat, és ellenőrizze a blokkolás hatását a feltérképezésre és az indexelésre is.
Források és további olvasnivaló
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
