Para tiendas y webmasters
FordealBot
El bot que lee las páginas públicas de producto de las tiendas para el comparador de precios Fordeal. Su user agent enlaza a esta página (fordeal.ai/bot).
En resumen
FordealBot lee las páginas públicas de productos de las tiendas para que personas y asistentes de IA vean dónde algo es más barato. Respeta robots.txt, envía como máximo una petición por tienda cada 2 s y nunca inicia sesión ni lee datos personales. Una tienda puede bloquearlo en robots.txt, pedir la retirada por correo o enviar en su lugar un feed de productos.
Qué es FordealBot
FordealBot es el rastreador de Fordeal (fordeal.ai), un comparador de precios para Europa central. Lee las páginas públicas de producto de las tiendas para que personas y asistentes de IA vean dónde es más barato un producto.
Guarda el precio, la disponibilidad, el envío y los identificadores del producto (EAN, marca, modelo). Nunca inicia sesión, nunca añade nada al carrito, nunca envía formularios y nunca lee datos personales.
User agent
Cada petición lleva este user agent. Los grupos de robots.txt se comparan con el token FordealBot.
Mozilla/5.0 (compatible; FordealBot/1.0; +https://fordeal.ai/bot)Qué lee
| robots.txt | siempre primero |
|---|---|
| Sitemaps | los que publica la tienda (las líneas Sitemap de robots.txt o /sitemap.xml) |
| Páginas de producto | las páginas públicas que figuran allí y en ellas los datos schema.org Product (JSON-LD) – nombre, precio, moneda, disponibilidad, EAN, marca |
| Imagen del producto | la imagen principal, para una miniatura pequeña |
| Feed de productos | Heureka, Zboží o Google Merchant cuando la tienda nos da su dirección |
Ritmo
Como máximo una petición a una tienda cada 2 segundos, página tras página, nunca en paralelo a la misma tienda. Se respeta un Crawl-delay más largo en robots.txt. Cada pasada lee solo una parte limitada de la tienda (unos cientos de páginas de producto como máximo), la siguiente continúa donde se detuvo la anterior y una página no se vuelve a leer durante seis horas.
La recogida de precios se ejecuta dos veces al día y cada pasada lee solo una parte de la tienda, así que una página se descarga como máximo dos veces al día y la mayoría con menos frecuencia.
Reglas de robots.txt que respeta
| User-agent | se aplica un grupo que nombre FordealBot; si no, el grupo * |
|---|---|
| Disallow y Allow | incluidos los patrones * y $; gana la regla coincidente más larga |
| Crawl-delay | se respeta una pausa más larga entre peticiones |
| Sitemap | las líneas Sitemap se leen como lista de páginas |
| Error de servidor 5xx | si robots.txt responde con un error, ese día no se lee nada |
Cómo bloquearlo
Añada un grupo para FordealBot a su robots.txt. El bot lo lee al inicio de cada pasada, así que el cambio se aplica desde la siguiente.
El bot también se detiene por sí solo cuando una tienda responde 403 o 429 o muestra un captcha, y no vuelve durante 30 días.
Bloquear todo el sitio:
User-agent: FordealBot
Disallow: /Bloquear solo algunas rutas y ralentizarlo:
User-agent: FordealBot
Disallow: /kosik
Disallow: /vyhledavani
Crawl-delay: 10Retirada de una tienda o sus datos
Escriba a hello@fordeal.ai indicando su dominio. Retiramos las ofertas de la tienda del comparador y detenemos el bot para ese dominio en dos días laborables. Sin formularios ni cuentas.
Envíe un feed en su lugar
Un feed de productos es mejor para ambas partes: menos peticiones a su servidor y precios exactos. Registre su tienda con su feed de Heureka, Zboží o Google Merchant (Shoptet, Upgates y WooCommerce los exportan); la importación se hace en 24 horas y no cuesta nada.