Na začátku roku 2024 Google ukončil podporu svého nástroje na zasílání žádostí pro snížení crawlingu z původní verze Google Search Console. Google také již ke konci roku 2023 a především na začátku 2024 změnil crawlovací strategie.
Dle nápovědy Google k tomuto tématu je nyní doporučeno přístupy regulovat na straně webu právě návratovými kódy. Například kódem 429 "Too many requests".
Vzhledem k značnému nárůstu zobrazení stránek Googlebotem jsme 10.1.2024 přistoupili k tzv. throttlingu, kdy část požadavků tohoto robota právě vyřizujeme návratovým kódem 429. Výchozí hodnoty pro tento throttling jsou nastaveny tak, aby Google nevyčerpal váš základní balíček zobrazení. Dosud tento balíček byl i pro Google dostatečný a vyčerpal z něj běžně do 20%.
Googlebot provádí crawling pro několik služeb najednou pod stejnou identifikaci agenta.
Pokud chcete zvýšit propustnost požadavků Googlebota, můžete tak provést v rozhraní blokování přístupů.
FAQ
Otázka: Google uvádí, že blokace by měla být krátkodobá, ale my vidíme blokaci celý den.
Odpověď: Blokace probíhá na úrovni granularity jedné minuty. Je tedy ještě kratší než krátkodobá, spíše chvilková, maximálně několik desítek sekund.
Otázka: Máme obavy, že throttling může ovlivnit prodejní výkonnost e-shopu. Jak toto řešit?
Odpověď: Prakticky jakákoliv změna na e-shopu může ovlivnit prodejní výkonnost. Největším faktorem je sezónnost a nákupní nálada. Zde byly například znát velké změny v 9/2023 a 12/2023.
Throttling může mít vliv na indexování stránek. Zde doporučujeme vyhodnocení případného dopadu ne formou zaindexovanosti stránek (Google pravidelně vylučuje nekonverzní stránky z indexu), ale prodejních metrik například v Google Analytics (pozor, při vyhodnocení byste měli vyloučit prodeje realizované skrz vyhledávaná brandová slova vaší značky).
Dále může Throttling ovlivnit inzerci produktů z feedu. Zde je potřeba vypnout dodatečnou kontrolu produktů na webu a požádat o aktivaci zamítnutých položek.
U obou kanálů může pomoci dočasné zvýšení limitů propustnosti throttlingu.
Otázka: Google uvádí ve svých službách nepřístupnost s návratovým kódem 5xx, ale zmiňujete throttling pomocí návratového kódu 4xx. Jak je to možné?
Odpověď: Throttling neprobíhá s využitím 5xx. Využívá jen a pouze návratový kód 429. Zmínka o 5xx může být chybou na straně Googlu, nebo historicky zaznamenaný stav při dřívější nedostupnosti URL.
Otázka: V Google Merchant Center (GMC) máme velké množství zamítnutých produktů z důvodu nedostupnosti URL. Jak můžeme situaci řešit?
Odpověď: V GMC si zkontrolujte, zda nemáte povolenou dodatečnou kontrolu/aktualizaci produktů z webu. Toto zásadně zvyšuje četnost procházení a způsobuje další chyby jako je nesoulad ceny. Tuto dodatečnou kontrolu/aktualizaci byste měli ponechat vypnutou.
Dále požádejte u dotčených produktů o kontrolu. Po dobu kontroly můžete zvýšit propustnost požadavků Googlebota, ale mějte na paměť, že Google může tvořit opravdu velký objem provozu.
Otázka: Google nás upozorňuje, že vstupní stránka produktu je nedostupná. Při naší kontrole však proukt dostupný je. Jak je to možné?
Odpověď: Při throttlingu rozlišujeme provoz a týká se pouze provozu Googlebota. Není ve vašich možnostech přistoupit k webu jako Googlebot.
Otázka: Při přístupu k webu s user-agent Googlebot nám web vrací návratovou hodnotu 444.
Odpověď: Pokud přistupujete k webu s identifikací Googlebota,a le nepřistupujete z IP adress, které Google pro Googlebota uvádí, pak jsou tyto přístupy odmítnuty s návratovým kódem 444.
Otázka: URL stránek zasíláme Googlu prostřednictvím sitemap.xml ale nenačte všechny. Jak zajistit aby načetl všechny?
Odpověď: Nelze zajsitit aby Google načetl všechyn stránky. Sitemap jej informuje o stránkách, tkeré v sitemap.xml jsou uvedené. Ty pak google MŮŽE načíst (načtení Google negarantuje). Pokud při načítání je pozastaven throttlingem, pak může stránku načíst při opakovaném požadavku později.
Otázka: Throttling je nastavený, ale počet přístupů Googlu se nemění. Jakto?
Odpověď: Z reálných měření víme, že reakce Googlu trvá i týdny. Je běžné, že i po nastavení throttlingu počet přístupů dále roste i více než 7 dní. Následný pokles je pozvolný a může také trvat i několik týdnů.