Dla sklepów i webmasterów
FordealBot
Robot, który dla porównywarki cen Fordeal czyta publiczne strony produktów sklepów. Jego user agent wskazuje na tę stronę (fordeal.ai/bot).
W skrócie
FordealBot czyta publiczne strony produktów sklepów, aby ludzie i asystenci AI widzieli, gdzie dana rzecz jest najtańsza. Przestrzega robots.txt, wysyła najwyżej jedno zapytanie do sklepu co 2 s i nigdy się nie loguje ani nie czyta danych osobowych. Sklep może go zablokować w robots.txt, poprosić e-mailem o usunięcie albo zamiast tego wysłać feed produktowy.
Czym jest FordealBot
FordealBot to robot porównywarki Fordeal (fordeal.ai) dla Europy Środkowej. Czyta publiczne strony produktów sklepów, aby ludzie i asystenci AI widzieli, gdzie produkt jest najtańszy.
Zapisuje cenę, dostępność, dostawę i identyfikatory produktu (EAN, marka, model). Nigdy się nie loguje, nic nie dodaje do koszyka, nie wysyła formularzy i nie czyta danych osobowych.
User agent
Każde żądanie ma ten user agent. Grupy w robots.txt dopasowujemy do tokenu FordealBot.
Mozilla/5.0 (compatible; FordealBot/1.0; +https://fordeal.ai/bot)Co czyta
| robots.txt | zawsze najpierw |
|---|---|
| Mapy witryny | te, które sklep publikuje (wiersze Sitemap w robots.txt lub /sitemap.xml) |
| Strony produktów | wymienione tam strony publiczne, a na nich dane schema.org Product (JSON-LD) – nazwa, cena, waluta, dostępność, EAN, marka |
| Zdjęcie produktu | główne zdjęcie, z którego robimy małą miniaturę |
| Feed produktowy | Heureka, Zboží lub Google Merchant, jeśli sklep poda nam jego adres |
Tempo
Najwyżej jedno żądanie do sklepu co 2 s, strona po stronie, nigdy równolegle do tego samego sklepu. Dłuższy Crawl-delay w robots.txt jest przestrzegany. Każde przejście czyta tylko ograniczoną część sklepu (najwyżej kilkaset stron produktów), następne zaczyna tam, gdzie poprzednie skończyło, a strona nie jest czytana ponownie przez sześć godzin.
Zbieranie cen działa dwa razy dziennie, a każde przejście czyta tylko część sklepu, więc jedną stronę pobiera najwyżej dwa razy dziennie, a większość stron rzadziej.
Reguły robots.txt, których przestrzega
| User-agent | obowiązuje grupa z tokenem FordealBot, w przeciwnym razie grupa * |
|---|---|
| Disallow i Allow | łącznie ze wzorcami * i $; wygrywa najdłuższa pasująca reguła |
| Crawl-delay | dłuższą przerwę między żądaniami respektujemy |
| Sitemap | wiersze z mapami witryny czytamy jako listę stron |
| Błąd serwera 5xx | gdy robots.txt odpowiada błędem, tego dnia robot nic nie czyta |
Jak go zablokować
Dodaj do robots.txt grupę dla FordealBot. Robot czyta go na początku każdego przejścia, więc zmiana działa od następnego.
Robot zatrzymuje się też sam, gdy sklep odpowie 403 lub 429 albo pokaże captchę, i nie wraca przez 30 dni.
Zablokuj całą witrynę:
User-agent: FordealBot
Disallow: /Zablokuj tylko niektóre ścieżki i spowolnij go:
User-agent: FordealBot
Disallow: /kosik
Disallow: /vyhledavani
Crawl-delay: 10Usunięcie sklepu lub jego danych
Napisz na hello@fordeal.ai, podając domenę. Usuniemy oferty sklepu z porównania i zatrzymamy robota dla tej domeny w ciągu dwóch dni roboczych. Bez formularza i konta.
Zamiast tego wyślij feed
Feed produktowy jest lepszy dla obu stron: mniej żądań do serwera i dokładne ceny. Zarejestruj sklep z feedem Heureka, Zboží lub Google Merchant (Shoptet, Upgates i WooCommerce je eksportują); import nastąpi w ciągu 24 godzin i nic nie kosztuje.