Pour les boutiques et les webmasters
FordealBot
Le robot qui lit les pages produits publiques des boutiques pour le comparateur de prix Fordeal. Son user agent renvoie vers cette page (fordeal.ai/bot).
En bref
FordealBot lit les pages produits publiques des boutiques pour que les gens et les assistants IA voient où un article est le moins cher. Il respecte robots.txt, envoie au plus une requête par boutique toutes les 2 s et ne se connecte jamais ni ne lit de données personnelles. Une boutique peut le bloquer dans robots.txt, demander le retrait par e-mail ou envoyer à la place un flux de produits.
Qu'est-ce que FordealBot
FordealBot est le robot de Fordeal (fordeal.ai), un comparateur de prix pour l'Europe centrale. Il lit les pages produits publiques des boutiques afin que les personnes et les assistants IA voient où un produit est le moins cher.
Il conserve le prix, la disponibilité, la livraison et les identifiants du produit (EAN, marque, modèle). Il ne se connecte jamais, ne met rien au panier, n'envoie aucun formulaire et ne lit aucune donnée personnelle.
User agent
Chaque requête porte ce user agent. Les groupes de robots.txt sont comparés au jeton FordealBot.
Mozilla/5.0 (compatible; FordealBot/1.0; +https://fordeal.ai/bot)Ce qu'il lit
| robots.txt | toujours en premier |
|---|---|
| Sitemaps | ceux que publie la boutique (lignes Sitemap du robots.txt ou /sitemap.xml) |
| Pages produits | les pages publiques qui y figurent et, sur elles, les données schema.org Product (JSON-LD) – nom, prix, devise, disponibilité, EAN, marque |
| Image du produit | l'image principale, pour une petite vignette |
| Flux produits | Heureka, Zboží ou Google Merchant lorsque la boutique nous en donne l'adresse |
Rythme
Au plus une requête par boutique toutes les 2 secondes, page après page, jamais en parallèle sur la même boutique. Un Crawl-delay plus long dans robots.txt est respecté. Chaque passage ne lit qu'une partie limitée de la boutique (quelques centaines de pages produits au plus), le suivant reprend là où le précédent s'est arrêté, et une page n'est pas relue pendant six heures.
La collecte des prix tourne deux fois par jour et chaque passage ne lit qu'une partie de la boutique : une page est donc chargée au plus deux fois par jour, la plupart moins souvent.
Règles robots.txt qu'il respecte
| User-agent | un groupe nommant FordealBot s'applique ; sinon le groupe * |
|---|---|
| Disallow et Allow | y compris les motifs * et $ ; la règle correspondante la plus longue l'emporte |
| Crawl-delay | une pause plus longue entre les requêtes est respectée |
| Sitemap | les lignes Sitemap sont lues comme liste de pages |
| Erreur serveur 5xx | si robots.txt répond par une erreur, rien n'est lu ce jour-là |
Comment le bloquer
Ajoutez un groupe pour FordealBot dans votre robots.txt. Le robot le lit au début de chaque passage, le changement s'applique donc dès le suivant.
Le robot s'arrête aussi de lui-même lorsqu'une boutique répond 403 ou 429 ou affiche un captcha, et ne revient pas pendant 30 jours.
Bloquer tout le site :
User-agent: FordealBot
Disallow: /Bloquer seulement certains chemins et le ralentir :
User-agent: FordealBot
Disallow: /kosik
Disallow: /vyhledavani
Crawl-delay: 10Retrait d'une boutique ou de ses données
Écrivez à hello@fordeal.ai en indiquant votre domaine. Nous retirons les offres de la boutique du comparateur et arrêtons le robot pour ce domaine sous deux jours ouvrés. Ni formulaire ni compte nécessaires.
Envoyez plutôt un flux
Un flux produits est meilleur pour les deux parties : moins de requêtes sur votre serveur et des prix exacts. Inscrivez votre boutique avec son flux Heureka, Zboží ou Google Merchant (Shoptet, Upgates et WooCommerce les exportent) ; l'import se fait sous 24 heures et ne coûte rien.