A fontos oldalakat tegye elérhetővé hagyományos HTML-hivatkozásokon keresztül; ezek adjanak vissza 200-as kódot, engedélyezzék a feltérképezést, és ne legyen rajtuk noindex. A sitemapben csak kanonikus URL-eket adjon meg. A robots.txt-t a feltérképezés szabályozására használja, ne URL-ek indexből való eltávolítására. A duplikációkat a helyzettől függően kanonikus hivatkozással vagy átirányítással konszolidálja.
A webhely indexelése nem az URL-beküldés gombjával kezdődik. A keresőmotor először felfedezi a címet, majd feltérképezheti, renderelheti, kiértékelheti a jeleket, és felveheti az indexbe. Minden fázis másként végződhet. A sitemapban szereplő oldal feltérképezetlen maradhat, a feltérképezett oldal nem feltétlenül kerül indexbe, és az indexelt URL duplikáció esetén nem biztos, hogy a preferált változat.
A robots.txt, a meta robots, a kanonikus hivatkozás és a sitemap eltérő feladatokat lát el. Átgondolatlan kombinációjuk ütközéseket okoz, amelyek megnehezítik a diagnosztikát. A cél nem az, hogy minden technikai URL bekerüljön az indexbe, hanem hogy biztosítsuk az értékes oldalak felfedezését, és korlátozzuk a végtelen vagy duplikált URL-tereket. Ez az útmutató gyakorlati döntési keretrendszert mutat be.
Különböztesse meg a felfedezést, a crawlingot és az indexelést
A robot a címeket főként hivatkozásokból és oldaltérképekből (sitemap) fedezi fel. A hivatkozásnak valódi, cél-URL-lel rendelkező elemnek kell lennie, nem csupán cím nélküli JavaScript-műveletnek. A fontos tartalmat kösse be a navigációból, tematikus oldalakról vagy releváns cikkekből. Egy csak a sitemapben szereplő árva URL felfedezhető, de a hiányzó kontextusa gyenge architektúrára utal. A mélységet logikus belső hivatkozásokkal csökkentse, ne azzal, hogy mindent a főmenübe tesz.
A bejárás után a keresőmotor értékeli az állapotkódot, a tartalmat, a duplikációt, a kanonikus jeleket és a minőséget. Az indexelést a technikai helyesség nem garantálja. A csekély saját értékkel bíró oldalak, az automatikusan generált kombinációk vagy a nagyon hasonló helyi változatok kimaradhatnak az indexből. Először ellenőrizze, hogy az URL-hez egyáltalán tartozik-e önálló felhasználói szándék és tartalom, és csak ezután keressen technikai hibát.
Használja a robots.txt-t és a noindexet a megfelelő célra
A robots.txt az egyes robotoknak ad utasításokat az útvonalak feltérképezésére, de a nyilvános URL-t nem védi úgy, mint a hitelesítés. Egy blokkolt cím külső hivatkozásról is felbukkanhat, és a robot nem látja a meta noindexet, ha nem töltheti be az oldalt. Ezért a noindex oldalt tegye elérhetővé a crawler számára, amíg az fel nem dolgozza a jelzést. Az érzékeny staging környezeteket jelszóval vagy hálózati korlátozással védje, ne csak a robots fájlban szereplő tiltással.
A meta robots címke vagy az X-Robots-Tag fejléc a betöltött dokumentum vagy fájl indexelését szabályozza. Használja belső keresési találatokhoz, fiókokhoz vagy más, nyilvánosan elérhető, de a stratégia szerint nem kívánt oldalakhoz. Ne adjon noindexet olyan URL-hez, amelyet egyúttal a sitemapben is feltüntet és kanonikusként jelöl meg. A jelzés eltávolítása után ellenőrizze a gyorsítótárat, a sablont és az élő választ is adminisztrátori bejelentkezés nélkül.
- A robots.txt a feltérképezést szabályozza
- A noindex a betöltött URL indexelését szabályozza
- A hitelesítés védi a nem nyilvános tartalmat
- Az ellentmondó jeleket meg kell szüntetni
Vonja össze a duplikációkat és a paramétereket
Átirányítást akkor használjon, ha a régi URL-nek már nem kell önállóan elérhetőnek maradnia, és létezik releváns helyettesítő. A kanonikus hivatkozás a preferált változatot jelzi, ha hasonló URL-ek is elérhetők, például bizonyos paraméterek esetén. Sikeresen betöltődő, indexelhető oldalra kell mutatnia, és összhangban kell lennie a belső hivatkozásokkal és a sitemappel. Nem helyettesíti a végtelen szűrők javítását, és nem eszköz arra, hogy teljesen eltérő tartalmat duplikátumnak minősítsen.
A kampány-, rendezési és megjelenítési paraméterek ne hozzanak létre új, belső indexelhető ágakat. A webáruház szűrői döntést igényelnek: az értékes kombinációk stabil érkezési URL-t kapnak, a többi felhasználói funkció marad, ellenőrzött feltérképezéssel és indexeléssel. Kövesse a szervernaplókat és az indexelési jelentéseket, hogy lássa a tényleges viselkedést. A szabályokat tömeges bevezetés előtt teszteljen egy mintán.
Tartsa tisztán a sitemapot és a diagnosztikát
Az XML sitemap csak olyan URL-eket tartalmaz, amelyeket indexeltetni szeretne: 200-as kódot adnak vissza, nem noindex jelölésűek, kanonikusak és értékes tartalmat nyújtanak. Ossza fel típusok szerint, ha ez megkönnyíti a monitorozást, és ne adjon meg hamis utolsó módosítási időt minden generáláskor. A sitemap nem helyettesíti a belső hivatkozásokat, és nem kényszeríti ki az indexelést. Migráció után frissítse, a régi címeket pedig átirányításokkal kezelje.
Probléma esetén ellenőrizze az élő URL-t, az állapotkódot, a robots fájlt, a meta robots címkét, a kanonikus hivatkozást, a megjelenített tartalmat, a belső hivatkozásokat és a keresőmotor eszközében elérhető információkat. Hasonlítsa össze egy hasonló, működő oldallal és a szervernaplóval. Az indexelési kérelmet kis mintán vagy fontos új URL esetén használja, ne az architektúra helyettesítésére. A javítás után csoportosan értékeljen, és adjon időt a rendszernek az újrafeldolgozásra.
Ellenőrzőlista új szekció közzétételéhez
Közzététel előtt határozza meg az URL kanonikus formáját, és ellenőrizze, hogy a sablon nem hoz-e létre további címeket szűrők, nyomtatási nézet vagy paraméterek révén. Az új oldalnak egyedi címre, leíró H1-re, látható tartalomra és egy releváns meglévő ágból érkező belső hivatkozásra van szüksége. Ellenőrizze a 200-as állapotkódot, a noindex hiányát, az önmagára mutató kanonikus hivatkozást és a helyes nyelvi összekapcsolást. Az oldaltérképbe csak az éles kanonikus változat kerüljön, ne a staging vagy az előnézet.
Közzététel után töltse be az URL-t bejelentkezés nélkül, nézze át a forráskódot és a renderelt DOM-ot is, és tesztelje a mobilfelületet. Amikor a keresőmotor feldolgozza a címet, ellenőrizze a szervernaplót vagy egy vizsgálóeszközt. Ha a szakasz sablonból generálódik, tesztelje az üres, a hosszú és az érvénytelen rekordot is. Ez a kis közzétételi ellenőrzőlista megakadályozza, hogy ugyanaz az indexelési hiba az egész új tartalomtípusra kiterjedjen.
- Kanonikus éles URL
- Belső hivatkozás és látható tartalom
- Helyes állapot és indexelési jelzések
- Határeseteket képviselő mintarekordok ellenőrzése
Gyakori kérdések
Milyen gyorsan indexeli a Google az új oldalt?
Az idő a felfedezéstől, a minőségtől, a belső hivatkozásoktól, a weboldal állapotától és a feltérképezés gyakoriságától függően eltér. A sitemap és a hivatkozás segít az URL felfedezésében, de nem garantál határidőt. Kövesse az állapotot, és ha a probléma rendszeresen ismétlődik, keresse meg az okát.
Adjak meg noindexet és Disallow-t is?
Ha a robot nem térképezheti fel az URL-t, a noindex jelzést sem feltétlenül látja. Egy indexelhető nyilvános oldal eltávolításához ezért általában engedélyezze a noindex jelzés betöltését. A pontos sorrend a helyzettől függ; az érzékeny tartalmat hitelesítéssel védje.
Minden oldalnak szerepelnie kell a sitemapben?
Nem. Azokat a kanonikus, indexelhető URL-eket vegye fel, amelyeket a találatok között szeretne látni. Az átirányítások, hibák, noindex oldalak, belső keresés és a szokásos paraméterek nem tartoznak oda. A sitemapben szereplő URL-ekhez is szükség van belső hivatkozásra.
Források és további olvasnivaló
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
