Für Shops und Webmaster
FordealBot
Der Bot, der für den Preisvergleich Fordeal die öffentlichen Produktseiten von Shops liest. Sein User-Agent verweist auf diese Seite (fordeal.ai/bot).
Kurz gesagt
FordealBot liest die öffentlichen Produktseiten von Shops, damit Menschen und KI-Assistenten sehen, wo etwas am günstigsten ist. Er befolgt robots.txt, sendet höchstens eine Anfrage pro Shop alle 2 s und meldet sich nie an oder liest personenbezogene Daten. Ein Shop kann ihn in robots.txt sperren, per E-Mail die Entfernung verlangen oder stattdessen einen Produktfeed schicken.
Was FordealBot ist
FordealBot ist der Crawler von Fordeal (fordeal.ai), einem Preisvergleich für Mitteleuropa. Er liest öffentliche Produktseiten von Shops, damit Menschen und KI-Assistenten sehen, wo ein Produkt am günstigsten ist.
Er speichert Preis, Verfügbarkeit, Versand und Produktkennungen (EAN, Marke, Modell). Er meldet sich nie an, legt nichts in den Warenkorb, sendet keine Formulare und liest keine personenbezogenen Daten.
User-Agent
Jede Anfrage trägt diesen User-Agent. Gruppen in robots.txt werden mit dem Token FordealBot abgeglichen.
Mozilla/5.0 (compatible; FordealBot/1.0; +https://fordeal.ai/bot)Was er liest
| robots.txt | immer zuerst |
|---|---|
| Sitemaps | die der Shop veröffentlicht (Sitemap-Zeilen der robots.txt oder /sitemap.xml) |
| Produktseiten | die dort gelisteten öffentlichen Seiten und darauf die schema.org-Product-Daten (JSON-LD) – Name, Preis, Währung, Verfügbarkeit, EAN, Marke |
| Produktbild | das Hauptbild, für ein kleines Vorschaubild |
| Produktfeed | Heureka, Zboží oder Google Merchant, wenn der Shop uns die Adresse gibt |
Tempo
Höchstens eine Anfrage pro Shop alle 2 Sekunden, Seite für Seite, nie parallel an denselben Shop. Ein längeres Crawl-delay in der robots.txt wird eingehalten. Jeder Lauf liest nur einen begrenzten Teil eines Shops (höchstens einige hundert Produktseiten), der nächste Lauf macht dort weiter, wo der letzte aufgehört hat, und eine Seite wird sechs Stunden lang nicht erneut gelesen.
Die Preiserfassung läuft zweimal täglich und jeder Lauf liest nur einen Teil eines Shops; eine Seite wird also höchstens zweimal am Tag geladen, die meisten seltener.
robots.txt-Regeln, die er befolgt
| User-agent | eine Gruppe mit FordealBot gilt, sonst die Gruppe * |
|---|---|
| Disallow und Allow | inklusive der Muster * und $; die längste passende Regel gewinnt |
| Crawl-delay | eine längere Pause zwischen Anfragen wird eingehalten |
| Sitemap | die Sitemap-Zeilen werden als Seitenliste gelesen |
| Serverfehler 5xx | antwortet die robots.txt mit einem Fehler, wird an diesem Tag nichts gelesen |
Wie man ihn sperrt
Fügen Sie Ihrer robots.txt eine Gruppe für FordealBot hinzu. Der Bot liest sie zu Beginn jedes Laufs, die Änderung gilt also ab dem nächsten Lauf.
Der Bot hält auch von selbst an, wenn ein Shop mit 403 oder 429 antwortet oder ein Captcha zeigt, und kommt 30 Tage lang nicht wieder.
Die ganze Website sperren:
User-agent: FordealBot
Disallow: /Nur einige Pfade sperren und ihn verlangsamen:
User-agent: FordealBot
Disallow: /kosik
Disallow: /vyhledavani
Crawl-delay: 10Entfernung eines Shops oder seiner Daten
Schreiben Sie an hello@fordeal.ai mit Ihrer Domain. Wir entfernen die Angebote des Shops aus dem Vergleich und stoppen den Bot für diese Domain innerhalb von zwei Werktagen. Kein Formular, kein Konto nötig.
Schicken Sie stattdessen einen Feed
Ein Produktfeed ist für beide Seiten besser: weniger Anfragen an Ihren Server und exakte Preise. Registrieren Sie Ihren Shop mit seinem Heureka-, Zboží- oder Google-Merchant-Feed (Shoptet, Upgates und WooCommerce exportieren diese); der Import läuft innerhalb von 24 Stunden und ist kostenlos.