Arend Group
ShelfScanBot
Mozilla/5.0 (compatible; ShelfScanBot/1.0; +https://bot.arend-group.com)
Wat is ShelfScanBot?
ShelfScanBot is de bot van Arend Group. Hij leest openbare productpagina's (productnaam, EAN, prijs en voorraadstatus) om merken en hun verkooppunten inzicht te geven in hoe vindbaar hun producten online zijn.
Hoe gedraagt hij zich?
- Hij volgt
robots.txtenCrawl-delay. - Hij vraagt telkens één pagina, en per website hoogstens één pagina om de paar minuten.
- Antwoordt een website met 429 (te veel verzoeken), dan houdt hij pauze voor die website.
- Hij logt niet in, vult geen formulieren in en omzeilt geen beveiliging.
- Zijn verzoeken zijn ondertekend volgens Web Bot Auth (HTTP Message Signatures); de publieke sleutels staan op
/.well-known/http-message-signatures-directory.
Weren of toelaten
Dat kan in uw robots.txt met User-agent: ShelfScanBot. Bijvoorbeeld, om hem te weren:
User-agent: ShelfScanBot Disallow: /
Contact
Vragen of opmerkingen: info@arend-group.com.
What is ShelfScanBot?
ShelfScanBot is the crawler of Arend Group. It reads public product pages (product name, EAN, price and stock status) to give brands and their retailers insight into how findable their products are online.
How does it behave?
- It follows
robots.txtandCrawl-delay. - It requests one page at a time, and at most one page every few minutes per website.
- When a website answers with 429 (too many requests), it pauses for that website.
- It does not log in, does not fill in forms and does not circumvent any protection.
- Its requests are signed with Web Bot Auth (HTTP Message Signatures); the public keys are published at
/.well-known/http-message-signatures-directory.
Block or allow
Use User-agent: ShelfScanBot in your robots.txt. For example, to block it:
User-agent: ShelfScanBot Disallow: /
Contact
Questions or remarks: info@arend-group.com.