Pro e-shopy a správce webů
FordealBot
Robot, který pro srovnávač cen Fordeal čte veřejné produktové stránky e-shopů. Na tuto stránku (fordeal.ai/bot) odkazuje jeho user agent.
V kostce
FordealBot čte veřejné produktové stránky e-shopů, aby lidé i AI asistenti viděli, kde danou věc koupí nejlevněji. Dodržuje robots.txt, na jeden obchod pošle nejvýš jeden požadavek za 2 s a nikdy se nepřihlašuje ani nečte osobní údaje. Obchod ho může zablokovat v robots.txt, požádat e-mailem o odstranění, nebo místo toho poslat produktový feed.
Co je FordealBot
FordealBot je robot srovnávače Fordeal (fordeal.ai) pro střední Evropu. Čte veřejné produktové stránky e-shopů, aby lidé i AI asistenti viděli, kde danou věc koupí nejlevněji.
Ukládá cenu, dostupnost, dopravu a identifikátory produktu (EAN, značka, model). Nikdy se nepřihlašuje, nic nevkládá do košíku, neodesílá formuláře a nečte osobní údaje.
User agent
Každý požadavek nese tento user agent. Skupiny v robots.txt porovnáváme s tokenem FordealBot.
Mozilla/5.0 (compatible; FordealBot/1.0; +https://fordeal.ai/bot)Co čte
| robots.txt | vždy jako první |
|---|---|
| Sitemapy | ty, které obchod zveřejňuje (řádky Sitemap v robots.txt nebo /sitemap.xml) |
| Produktové stránky | veřejné stránky ze sitemap a na nich data schema.org Product (JSON-LD) – název, cena, měna, dostupnost, EAN, značka |
| Obrázek produktu | hlavní obrázek, ze kterého děláme malou miniaturu |
| Produktový feed | Heureka, Zboží nebo Google Merchant, pokud nám obchod dá jeho adresu |
Tempo
Nejvýš jeden požadavek na obchod za 2 s, stránku po stránce, nikdy souběžně na stejný obchod. Delší Crawl-delay v robots.txt dodržíme. Každý běh přečte jen omezený díl obchodu (nejvýš několik set produktových stránek), další běh pokračuje tam, kde předchozí skončil, a stránka se šest hodin nečte znovu.
Sběr cen běží dvakrát denně a každý běh přečte jen díl obchodu, takže jednu stránku stáhne nejvýš dvakrát denně a většinu stránek méně často.
Pravidla robots.txt, která dodržuje
| User-agent | skupina s tokenem FordealBot má přednost, jinak platí skupina * |
|---|---|
| Disallow a Allow | včetně vzorů * a $; rozhoduje nejdelší shodné pravidlo |
| Crawl-delay | delší prodlevu mezi požadavky dodržíme |
| Sitemap | řádky se sitemapami čteme jako seznam stránek |
| Chyba serveru 5xx | když robots.txt odpoví chybou, ten den robot nečte nic |
Jak ho zablokovat
Přidejte do robots.txt skupinu pro FordealBot. Robot ho čte na začátku každého běhu, změna tedy platí od dalšího běhu.
Robot se zastaví i sám, když obchod odpoví 403 nebo 429 nebo ukáže captchu, a 30 dní se nevrátí.
Zablokovat celý web:
User-agent: FordealBot
Disallow: /Zablokovat jen některé cesty a zpomalit ho:
User-agent: FordealBot
Disallow: /kosik
Disallow: /vyhledavani
Crawl-delay: 10Odstranění obchodu nebo dat
Napište na hello@fordeal.ai a uveďte doménu. Nabídky obchodu ze srovnání odstraníme a robota pro tu doménu zastavíme do dvou pracovních dnů. Žádný formulář ani účet není potřeba.
Místo toho pošlete feed
Produktový feed je lepší pro obě strany: méně požadavků na váš server a přesné ceny. Zaregistrujte obchod s feedem Heureka, Zboží nebo Google Merchant (Shoptet, Upgates i WooCommerce je exportují); import proběhne do 24 hodin a nic nestojí.