Děláte web pro roboty, nebo lidi? 85 % návštěv od robotů je rarita, 30 % realita.

Co GA4 ve skutečnosti filtruje

Google Analytics automaticky vylučují traffic z IAB/ABC seznamu známých spiderů a botů a vypnout se to nedá. Ten seznam stojí na jednom předpokladu: obsahuje roboty, kteří se v user agentu přiznají. Googlebot, Bingbot, Screaming Frog, Ahrefs.

Slušný robot se přizná, ten, který vám kazí data, ne.

Bot postavený na Puppeteeru nebo Playwrightu využívá Chromium - jádro Chromu. Načte stránku, spustí JavaScript, odešle hit do Google Analytics a tváří se jako Chrome na Windows. Pro GA4 je od člověka nerozeznatelný, protože jediný znak, podle kterého GA4 rozhoduje, si může nastavit tak, jak chce.

K tomu přišly AI crawlery. GPTBot, ClaudeBot, Meta-ExternalAgent, Applebot-Extended. Ani ty na IAB seznamu nejsou. Části z nich se nechá odradit zákazem v robots.txt, ale dělají to "dobrovolně".

Co se za poslední dva roky změnilo nejvíc, je dostupnost. Postavit robota, který proleze celý e-shop a obejde přitom běžné anti-bot nástrahy, dnes zvládne kdokoli za odpoledne. Nástroje jsou zdarma a dokumentace k nim je lepší než k většině analytických nástrojů.

Proč to rozbíjí konverzní poměr víc, než by člověk čekal

Když jsme si na jeho českém webu rozdělili hity na lidské a botí, vyšel poměr, který za pozornost stojí. Botí session má v průměru 1,7 hitu, lidská šest.

Roboti tedy na tom webu dělají 13 % hitů, ale 35 % sessions. Nafukují návštěvnost mnohem víc než zobrazení stránek, protože přijdou, načtou jednu dvě stránky a zmizí. Každá taková návštěva je pro GA4 plnohodnotná session ve jmenovateli každého poměru, který počítáte.

Na tom slovenském webu to za sledovaný týden vypadá takhle:

• Reportovaný add to cart rate: 0,47 %
• Add to cart rate po odečtení robotů: 4,07 %

S hodnotou 0,47 % by šel kterýkoli e-shop rovnou zavřít. Reálné číslo je skoro devítinásobek. Konverzní poměr je ulítlý podobně.

Na českém webu je rozdíl menší, z 3,43 % na 5,26 %, ale i to je rozdíl, který mění rozhodnutí. Když vyhodnocujete A/B test, optimalizujete produktovou stránku nebo měříte kampaň na výkon, pracujete s číslem, které je o třetinu špatně. A protože podíl robotů není mezi weby ani mezi měsíci stejný, není konstantní ani ta chyba, takže ji nejde jen tak odhadem dorovnat.

Roboti lezou po produktových výpisech

V jednom dni tvořil event view_item_list 41 % všech botích hitů. Přidání do košíku u nich prakticky neexistuje, u lidí je to 2,8 % hitů.

Kazí se tím i reporty, které s návštěvností nemají nic společného. Výkon produktových výpisů, měření pozic položek v kategoriích, doporučovací logika postavená na tom, co si lidé prohlížejí. Produkt, přes který robot náhodou projel tisíckrát, vypadá v reportu jako produkt, o který je zájem.

Objem robotů skáče ze dne na den

Vzali jsme u českého webu vždy jeden den v přibližně dvoutýdenních odstupech a spočítali podíl botích sessions:

• 26. 5. - 32,3 %
• 2. 6. - 60,6 %
• 16. 6. - 12,7 %
• 30. 6. - 16,2 %
• 14. 7. - 31,6 %
• 27. 7. - 32,7 %

Mezi druhým a šestnáctým červnem spadl podíl robotů z 61 % na 13 %. Klient v té době na webu ani v marketingu nezměnil nic, co by s tím souviselo. Přišla vlna a odešla vlna.

Když tedy srovnáváte měsíc proti měsíci nebo rok proti roku, srovnáváte kromě svého businessu i to, jaká vlna robotů vám který měsíc přišla. Jednorázové vyčištění dat na tohle nestačí, protože sada pravidel, která funguje dnes, bude za tři týdny míjet celou novou vlnu.

Jak si robota najdete ve svém GA4 do deseti minut

Nemusíte na to nic instalovat. Stačí dvě dimenze, které GA4 sbírá samo a které roboti nedokážou věrohodně vyplnit.

Rozlišení obrazovky

U našeho klienta má 88 % botích hitů rozlišení 1280x1200 - běžné zařízení takové rozlišení nemá. Ale je hodně oblíbené u robotů. Další časté jsou 1600x1600 a 800x600.

V GA tohle najdete na více místech. Např. v sekci Uživatel > Technologie > Podrobonosti o technologii a v horní části tabulky přepnete na Rozlišení obrazovky. Hledáte velkou návštěvnosti z rozlišení, které neodpovídá ničemu, co si dokážete představit na stole nebo v ruce.

Jazyk / Kód jazyka

96 % botích hitů u konkrétního klienta je nastavená na English / en-us. Reálný traffic na česko-slovenském e-shopu je samozřejmě především v lokálních jazycích‍. Správně tušíte, že tenhle signál už ale tak spolehlivý není. Zařízení nastavená na angličtinu používají i zákazníci v ČR, ale pokud vám v dimenzi Jazyk vyjde velká skupina s cizím jazykem, možná máte problém.

Tohle kdyžtak najdete v sekci Uživatel > Uživatelské atributy > Podrobný přehled demografických údajů a v horní části tabulky přepnete na Jazyk, kde uvidíte English

Roboti se schovávají dobře

Neplatí, že roboti jen přijdou a nenaměří žádný čas na webu. 44 % botích hitů v jednom z účtů naměří "engaged" čas, takže na téhle metrice je úplně nenachytáte. Stejně tak nespoléhejte na to, že robot přijde z podivné země nebo jako direct traffic. Ti, kteří dělají skutečný problém, mají tohle nějak vyřešené.

Obojí je dobré vědět předem, protože jinak si po půlhodině v GA4 řeknete, že problém nemáte.

Kudy vede řešení

Kvalitní detekce potřebuje server. Na straně prohlížeče vidíte přesně to, co vám robot dovolí vidět. Ale např. Server-side GTM má k dispozici surový hit včetně hlaviček a údajů, které by se do GA4 nedostanou a ani by neměly. Rozpor mezi tím, co o sobě klient tvrdí, a tím, co odpovídá jeho technickému otisku, je jeden z dobrých signálů, kde se robot prozradí.

Roboty označujte a pravidla vyhodnoťte, než začnete mazat. Zvlášť pokud si pravidla nastavujete sami. Na první pokus si snadno nastavíte filtry příliš striktně a mohli byste si odfiltrovat skutečné zákazníky - to je snad ještě horší, než mít v GA roboty. V jednom případě jsme také u klienta v rámci průzkumu označili 120 000 návštěv jako roboty, ale mezi nimi bylo i 130 návštěv s reálnou objednávkou, takže bylo jasné, že to pravidlo musíme zpřesnit.

Pravidla se musí udržovat. Spolehlivý seznam pravidel je potřeba průběžně udržovat, aby reagoval i na nové metody. Bez toho vám do analytiky postupně nalezou noví.

Co s tím děláme my

Tématu se věnujeme poslední měsíce. Nejdříve to vypadalo jako malý problém, který jde ignorovat, ale pak se ukázalo, že je to větší a najednou jsme stejný problém řešili během měsíce potřetí. A tak vznikl náš "Bot Detector", který klientům nasazujeme do Server-side GTM.

Označí každý hit, u kterého nesedí technický otisk. Zároveň sbírá surová data do BigQuery, kde je průběžně monitorujeme a hledáme nové vzorce. Když u jediného klienta najdeme novou vlnu, aktualizujeme rychle pravidla jemu i všem dalším klientům naráz - většině se tedy nový bot do GA nemusí dostat vůbec.

Označené hity umíme z GA4 vyloučit, nechat je jen označené, nebo je poslat do vedlejší property. Ta poslední varianta je u klientů nejoblíbenější: hlavní property má čistá čísla a vedle toho existuje místo, kde se dá koukat, kolik robotů přišlo, odkud byli a co dělali. Slouží to i jako dobrá kontrola, že Bot Detector dělá svoji práci dobře, nebo záchranná brzda, kdyby náhodou ne.

Bot Detector stojí 1 000 Kč měsíčně a za úvodní nasazení účtujeme 5 000 Kč. Podmínkou je, aby se web měřil přes Server-side GTM. Pokud ho nemáte, umíme pomoci i s tím. U nás se nová implementace nejčastěji vejde do 15 až 20 000 Kč.

Začněte tím rozlišením

Otevřete si GA4, mrkněte se, kolik návštěv mají divná rozlišení obrazovky. Když tam najdete třeba ty zmiňované 1280x1200, 1600x1600 nebo 800x600 s nezanedbatelným podílem, roboty tam máte, a bude jich pravděpodobně ještě víc, než co uvidíte tímhle rychlým pohledem.

Nejčastěji tvoří roboti okolo 30 % návštěv.

Pokud s tím budete chtít pomoci, ozvěte se nám třeba přes kontaktní formulář. Podíváme se jim na zoubek.