Zobrazení stránek webovým prohlížečem a roboty

Webovou návštěvnost tvoří jak přístupy z webového prohlížeče, tak internetoví roboti nazývání též boti či crawleři.

Internetový robot (bot)

Internetový robot je program, který prochází weby za nějakým účelem. Pro provozovatele webu jsou některé účely přínosné a některý ne. Můžeme tak rozdělit roboty na škodlivé a užitečné. Návštěvnost botů může na daném webu snadno převyšovat návštěvnost z webových prohlížečů.

Škodliví roboti využívají obsah webu pouze pro své účely nebo se snaží web nějak napadnout. Jeden z typu napadení je DoS útok, který má za cíl vytížet web natolik, aby spadl či byl velmi pomalý a nepoužitelný. K takovým útokům dochází na e-shopech často.
Platforma e-shopu automaticky blokuje známé škodlivé roboty a má zabudovanou ochranu proti DoS útokům. Většinu takových útoků nebo negativních vlevů škodlivých botů nezaznamenáte.

Dobří (užiteční) roboti
Jsou to převážně boti vyhledávačů a marketingových platforem Google, Facebook, Seznam, Bing a ostatní. Ti prochází váš web, aby zaindexovali vaše stránky pro vyhledávání, případně zaktualizovali ze stránek informace.

Zobrazení stránky

Jde o jeden přístup na web. Obecně jde o jedno navštívení stránky, nebo její podčásti, která se donačítává při interakci návštěvníka s webem. Jde o detailnější metriku než zobrazují Google Analytics, které nezapočítávají všechny přístupy, ale pouze synchronní zobrazení stránek s návratovým kódem 200 a to jen u přístupů z webového prohlížeče a jen pokud návštěvník Google Analytics neblokuje/dal svůj souhlas.

Vyšší návštěvnost (počet přístupů) generuje vyšší nároky na provoz e-shopu. Každý jednotlivý přístup s sebou nese náklady. Se zvyšující se návštěvností musí e-shop zároveň obsluhovat více uživatelů (jak z webových prohlížečů, tak i robotů). Nároky na provoz ne-lineárně rostou s vyšším počtem produktů a skladových zásob. Čím více produktů a skladových zásob e-shop obsahuji, tím je každý přístup výkonnostně náročnější. To samé platí o hromadných operacích.

Rozdíl mezi přístupem z webového prohlížeče a přístupem robota

Webové prohlížeče i roboti se pří návštěvě webu identifikují hodnotou nazývanou User-Agent, která obsahuje informace o názvu a typu prohlížeče nebo robota, jeho verzi, často i další informace. Dle této hodnoty lze rozeznat zda se jedná o přístup robota nebo prohlížeče, tedy člověka.

Pokud však existuje útočník (crawler), který vás chce poškodit nebo získat data z vašeho e-shopu, může si dnes snadno objednat službu (robota), který pro vás prohledává web a zároveň tento robot o sobě dávý vědět, že je prohlížeč (odešle User-Agent prohlížeče). Tedy zjednodušeně takový robot se přetvařuje za webový prohlížeč.

Statistiky

Data o přístupech mohou sledovat primární a super administrátoři ve statistikách v administraci.
E-shop ve statistikách rozděluje přístup botů do těchto kategorií:

• zobrazení stránek webovým prohlížečem
• zobrazení stránek administrátory
• GoogleBot
• FacebookBot
• SeznamBot
• BingBot
• AppleBot
• Ostatní roboti

Toto detailnější rozdělení je dostupné po prokliku na konkrétní den v grafu zobrazení stránek. Po prokliku je vidět v grafu i rozdělení přístupů dle návratových stavových kódů.

• 2xx – Úspěšné zobrazení stránky.
• 3xx – Přesměrování na jinou URL adresu (301, 302).
• 4xx – Přístupy na neexstující URL adresu (404) či nepovolené přístupy (403).

Počet produktů a skladových zásob

Jde o průměrný počet produktů za celý měsíc. Každý den zaznamenáváme hodnotu počtu produktů a počtu skladových zásob. Pro uplatnění balíčků pak zohledňujeme tento průměr, aby nedošlo ke změně balíčku jen na základě nějakého výkyvu (například novým importem od dodavatele, nebo chybou v datech dodavatele).

Rozšiřující balíčky

Cena za rozšiřující balíčky vždy odráží počet přístupů na e-shop za daný měsíc v kombinaci s průměrným počtem produtků a skladových zásob v tomto měsíci. Pro příklad, cena za prosinec vychází z dat z listopadu, cena za leden z dat z prosince.

Ve statistikách v administraci je zobrazena reálná návštěvnost a z toho vypočtený počet rozšiřujících balíčků, které tuto návštěvnost pokrývají. Počet balíčků, který se účtuje závisí na reálné návštěvnosti e-shopu. Jeden balíček pokrývá zvýšení návštěvnosti o 50 000 přístupů z webových prohlížečů a 250 000 přístupů robotů. V případě, že je návštěvnost o 175 000 přístupu z webových prohlížečů vyšší než je zahrnuto v základním balíčku, jde o využití 4 rozšiřujících balíčků.

Jak omezit přístup botů

• Omezení můžete zajistit na straně iniciátora přístupu, nebo přímo na svém e-shopu v nastavení v sekci Webové přístupy.

Googlebot

Googlebot je webový robot používaný společností Google k objevování a indexování webových stránek na internetu. Je to softwarový program, který následuje odkazy na webových stránkách, aby našel nové stránky a aktualizoval stávající. Hlavní funkcí Googlebota je pomoci Googlu sestavit komplexní index webu, který používá k zobrazení relevantních výsledků vyhledávání pro uživatele. Googlebot prochází webové stránky tím, že požaduje stránku ze serveru a analyzuje její obsah, včetně textu, obrázků a odkazů. Data shromážděná Googlebotem jsou použita k určení relevance a pořadí stránky ve výsledcích vyhledávání. Googlebot neustále prochází web, aby zajistil, že výsledky vyhledávání Googlu jsou aktuální a přesné.

Rychlost procházení Googlebotem (crawl rate)

Rychlost procházení Googlebotem je rychlost, jakou prochází a indexuje webové stránky na internetu. Rychlost procházení se může lišit v závislosti na různých faktorech, včetně rychlosti serveru webové stránky, popularity webové stránky, četnosti přidávání nového obsahu a celkové kvality webové stránky. 

Společnost Google upravuje rychlost procházení robotem Googlebot pro každou webovou stránku individuálně na základě její vnímané důležitosti a popularity. Například webové stránky s vysokou návštěvností a častými aktualizacemi budou obvykle procházeny častěji než webové stránky s nízkou návštěvností a statickým obsahem. 
Úpravu rychlosti procházení můžete nastavit tzv. throttlingem, tedy nastavením počtu přístupu za časový úsek. Nastavení trottlingu (počet přístupů za 1 minutu) můžete nastavit přímo v administraci v sekci Webové přístupy.

Co znamená „celkově blokované zobrazení stránky na úrovni obchodu“?

Toto číslo znamená počet požadavků, které jsou vyloučeny z našeho cenového modelu. To zahrnuje:

• Žádosti z IP adres, ze kterých byl proveden jakýkoli útok. Jako cs.wikipedia.org/wiki/Denial_of_service. Tyto IP adresy přidáváme ručně. Takové přístupy pak vylučujeme z celkových přístupů, takže za ně neplatíte, i když se dějí. Vylučujeme je buď
  • na nejvyšší úrovni infrastruktury, pokud útočník zaútočí na několik obchodů (číslo nevidíte) nebo
  • na úrovni obchodu, pokud útočník zaútočí pouze na jeden obchod (číslo vidíte v administraci).
• Přesměrování při akci (např. přidání produktu do nákupního košíku) - HTTP kód 302.
• Zakázané požadavky nebo automatická ochrana proti DoS (kódy HTTP 403 a 429).

Neúčtované HTTP návratové kódy

244, 302, 403, 429, 444, 500, 501, 502, 503, 504, 505, 506, 507, 508, 510, 511