Webáruházaknak és webmestereknek
FordealBot
A robot, amely a Fordeal árösszehasonlító számára olvassa a webáruházak nyilvános termékoldalait. A user agentje erre az oldalra (fordeal.ai/bot) mutat.
Röviden
A FordealBot a boltok nyilvános termékoldalait olvassa, hogy emberek és AI-asszisztensek lássák, hol a legolcsóbb valami. Betartja a robots.txt-t, boltonként legfeljebb 2 másodpercenként egy kérést küld, és soha nem jelentkezik be és nem olvas személyes adatot. Egy bolt letilthatja a robots.txt-ben, e-mailben kérheti az eltávolítást, vagy helyette termékfeedet küldhet.
Mi a FordealBot
A FordealBot a Fordeal (fordeal.ai) közép-európai árösszehasonlító robotja. A webáruházak nyilvános termékoldalait olvassa, hogy az emberek és az AI-asszisztensek lássák, hol a legolcsóbb egy termék.
Az árat, az elérhetőséget, a szállítást és a termékazonosítókat (EAN, márka, modell) rögzíti. Soha nem jelentkezik be, nem tesz semmit kosárba, nem küld űrlapot és nem olvas személyes adatot.
User agent
Minden kérés ezt a user agentet hordozza. A robots.txt csoportjait a FordealBot tokennel vetjük össze.
Mozilla/5.0 (compatible; FordealBot/1.0; +https://fordeal.ai/bot)Mit olvas
| robots.txt | mindig elsőként |
|---|---|
| Oldaltérképek | amelyeket a webáruház közzétesz (a robots.txt Sitemap sorai vagy /sitemap.xml) |
| Termékoldalak | az ott felsorolt nyilvános oldalak, rajtuk a schema.org Product adatok (JSON-LD) – név, ár, pénznem, elérhetőség, EAN, márka |
| Termékkép | a fő kép, amelyből kis bélyegképet készítünk |
| Termékfeed | Heureka, Zboží vagy Google Merchant, ha a webáruház megadja a címét |
Tempó
Webáruházanként legfeljebb egy kérés 2 másodpercenként, oldalanként egymás után, soha nem párhuzamosan ugyanarra a webáruházra. A robots.txt hosszabb Crawl-delay értékét betartjuk. Minden futás csak a webáruház egy korlátozott részét olvassa (legfeljebb néhány száz termékoldalt), a következő ott folytatja, ahol az előző abbahagyta, és egy oldalt hat órán belül nem olvasunk újra.
Az árgyűjtés naponta kétszer fut, és minden futás csak a bolt egy részét olvassa, így egy oldalt naponta legfeljebb kétszer tölt le, a legtöbbet ritkábban.
A robots.txt szabályai, amelyeket betart
| User-agent | a FordealBot tokent megnevező csoport érvényes, egyébként a * csoport |
|---|---|
| Disallow és Allow | a * és $ mintákkal együtt; a leghosszabb illeszkedő szabály dönt |
| Crawl-delay | a kérések közti hosszabb szünetet betartjuk |
| Sitemap | az oldaltérkép-sorokat oldallistaként olvassuk |
| Szerverhiba 5xx | ha a robots.txt hibával válaszol, aznap a robot semmit sem olvas |
Hogyan tiltható le
Vegyen fel a robots.txt fájlba egy csoportot a FordealBot számára. A robot minden futás elején beolvassa, így a változás a következő futástól érvényes.
A robot magától is leáll, ha a webáruház 403-mal vagy 429-cel válaszol vagy captchát mutat, és 30 napig nem tér vissza.
A teljes webhely tiltása:
User-agent: FordealBot
Disallow: /Csak egyes útvonalak tiltása és lassítás:
User-agent: FordealBot
Disallow: /kosik
Disallow: /vyhledavani
Crawl-delay: 10Webáruház vagy adatai eltávolítása
Írjon a hello@fordeal.ai címre a domainnel. A webáruház ajánlatait két munkanapon belül eltávolítjuk az összehasonlításból, és leállítjuk a robotot erre a domainre. Nincs szükség űrlapra vagy fiókra.
Küldjön inkább feedet
A termékfeed mindkét félnek jobb: kevesebb kérés a szerverére és pontos árak. Regisztrálja webáruházát Heureka, Zboží vagy Google Merchant feeddel (a Shoptet, az Upgates és a WooCommerce ezeket exportálja); az import 24 órán belül lefut, és ingyenes.