Popis indexace stránek nástrojem GoogleBot
Pro zobrazení ve výsledcích vyhledávání je nutné, aby stránku správně zaindexoval GoogleBot. Ten při přístupu na vaši stránku vidí jasně srozumitelnou strukturu stránky, tu pak bez chyb zaindexuje. Této zaindexované stránce GoogleBot přidělí skóre – relevenaci na různé vyhledávací fráze. Relevance se řídí obsahem stránky a také celkovou sílou webu.
Je žádoucí aby GoogleBot web prošel a zaindexoval všechny důležité stránky. Bot vstupuje na daný web s určitým vyhrazeným objemem “času” pro indexaci. To pro běžné weby s pár desítkami stránek naprosto vyhovuje. V případě e-shopu s TecDocem jde ovšem o desítky milionů stran. Základní “čas” tak botu nestačí k indexaci celého webu. Objem vyhrazeného “času” bot alokuje dle mnoha metrik. Například pokud na web směruje mnoho kvalitních zpětných odkazů, přidělí výraznějí více času. Stejně tak, pokud bot během indexace zjistí, že jde o “zajímavý” a unikátní obsah, věnuje indexaci více “času”. Bohužel v případě TecDocu jde o stránky velmi podobné, které pro bota nejsou atraktivní. Například stránky s jednotlivými motorizacemi jsou prakticky shodné, liší se pouze v kódu motoru a výkonu. Zbytek strany je prakticky shodný. Takových příkladů, které vycházejí systémově ze struktury TecDocu je mnoho. Výsledek je ten, že bot neprodlužuje adekvátně “čas” strávený na webu vzhledem k jeho rozsáhlosti.
Průběžně pracujeme na inovacích. Například jsme pro rozsáhlé části webu upravili strukturu tak, aby bylo botovi zřejmé, že nejde o atraktivní obsah a není potřeba jej indexovat. Svůj “čas” tak věnuje důležitějším stránkám. Například produktovým detailům. Bohužel i ty jsou v masivním rozsahu velmi podobné.
Situaci můžete samozřejmě zlepšovat i sami. Určitě je ku prospěchu doplňovat unikátní a kvalitní obsah přímo na web. Což je psaní užitečných článků pro vaše návštěvníky. Tak, aby na váš web přicházeli nejen nakoupit, ale dozvědět se o nabízeném sortimentu více i o neprodejních informací. Také můžete zapracovat na rozšíření zpětných odkazů na váš web.
Více se o indexaci v nápovědě Google Search
- 🇨🇿 support.google.com/webmasters?hl=cs#topic=9128571
- 🇬🇧 support.google.com/webmasters?hl=en#topic=9128571
- 🇬🇧 developers.google.com/search/docs/guides/get-started
Jak omezit přístup botů
- Pomocí souboru robots.txt. Jeho obsah můžete upravit v Nastavení ▸ SEO. Zde se také nachází k robots.txt nápověta.
- Úpravou nastavení rychlosti procházení v Google Search Console. Toto nastavení má vliv pouze na GoogleBota.
Crawl Budget Googlebota
FAQ
Dotaz: Google Search Console reportuje, že GoogleBot dostává návratový kód 444. Je to v pořádku?
Odpověď: Ano, toto chování je v pořádku. GoogleBot obdrží návratový kód 444 pokud:
- Je user-agent GoogleBot, ale IP neni od Googlu.
- Se GoogleBot snaží o indexaci nerelevantní stránky jako například vyhledávání, nákupní košík a uživatelský profil.
- GoogleBot přistupuje na API URL.