Pre e-shopy a správcov webov
FordealBot
Robot, ktorý pre porovnávač cien Fordeal číta verejné produktové stránky e-shopov. Na túto stránku (fordeal.ai/bot) odkazuje jeho user agent.
V skratke
FordealBot číta verejné produktové stránky e-shopov, aby ľudia aj AI asistenti videli, kde danú vec kúpia najlacnejšie. Dodržiava robots.txt, na jeden obchod pošle najviac jednu požiadavku za 2 s a nikdy sa neprihlasuje ani nečíta osobné údaje. Obchod ho môže zablokovať v robots.txt, požiadať e-mailom o odstránenie, alebo namiesto toho poslať produktový feed.
Čo je FordealBot
FordealBot je robot porovnávača Fordeal (fordeal.ai) pre strednú Európu. Číta verejné produktové stránky e-shopov, aby ľudia aj AI asistenti videli, kde danú vec kúpia najlacnejšie.
Ukladá cenu, dostupnosť, dopravu a identifikátory produktu (EAN, značka, model). Nikdy sa neprihlasuje, nič nevkladá do košíka, neodosiela formuláre a nečíta osobné údaje.
User agent
Každá požiadavka nesie tento user agent. Skupiny v robots.txt porovnávame s tokenom FordealBot.
Mozilla/5.0 (compatible; FordealBot/1.0; +https://fordeal.ai/bot)Čo číta
| robots.txt | vždy ako prvý |
|---|---|
| Sitemapy | tie, ktoré obchod zverejňuje (riadky Sitemap v robots.txt alebo /sitemap.xml) |
| Produktové stránky | verejné stránky zo sitemap a na nich dáta schema.org Product (JSON-LD) – názov, cena, mena, dostupnosť, EAN, značka |
| Obrázok produktu | hlavný obrázok, z ktorého robíme malú miniatúru |
| Produktový feed | Heureka alebo Google Merchant, ak nám obchod dá jeho adresu |
Tempo
Najviac jedna požiadavka na obchod za 2 s, stránku po stránke, nikdy súbežne na ten istý obchod. Dlhší Crawl-delay v robots.txt dodržíme. Každý beh prečíta len obmedzenú časť obchodu (najviac niekoľko sto produktových stránok), ďalší beh pokračuje tam, kde predchádzajúci skončil, a stránka sa šesť hodín nečíta znova.
Zber cien beží dvakrát denne a každý beh prečíta len časť obchodu, takže jednu stránku stiahne najviac dvakrát denne a väčšinu stránok menej často.
Pravidlá robots.txt, ktoré dodržiava
| User-agent | skupina s tokenom FordealBot má prednosť, inak platí skupina * |
|---|---|
| Disallow a Allow | vrátane vzorov * a $; rozhoduje najdlhšie zhodné pravidlo |
| Crawl-delay | dlhšiu prestávku medzi požiadavkami dodržíme |
| Sitemap | riadky so sitemapami čítame ako zoznam stránok |
| Chyba servera 5xx | keď robots.txt odpovie chybou, v ten deň robot nečíta nič |
Ako ho zablokovať
Pridajte do robots.txt skupinu pre FordealBot. Robot ho číta na začiatku každého behu, zmena teda platí od ďalšieho behu.
Robot sa zastaví aj sám, keď obchod odpovie 403 alebo 429 alebo ukáže captchu, a 30 dní sa nevráti.
Zablokovať celý web:
User-agent: FordealBot
Disallow: /Zablokovať len niektoré cesty a spomaliť ho:
User-agent: FordealBot
Disallow: /kosik
Disallow: /vyhledavani
Crawl-delay: 10Odstránenie obchodu alebo údajov
Napíšte na hello@fordeal.ai a uveďte doménu. Ponuky obchodu z porovnania odstránime a robota pre tú doménu zastavíme do dvoch pracovných dní. Nie je potrebný žiadny formulár ani účet.
Namiesto toho pošlite feed
Produktový feed je lepší pre obe strany: menej požiadaviek na váš server a presné ceny. Zaregistrujte obchod s feedom Heureka alebo Google Merchant (Shoptet, Upgates aj WooCommerce ich exportujú); import prebehne do 24 hodín a nič nestojí.