Scrapers

Les scrapers permettent de récupérer les informations relatives aux articles de votre site web. Ils doivent être configurés afin de savoir comment récupérer ces informations.

Vous pouvez ajouter, modifier et supprimer vos scrapers via l'onglet 'Scrapers' du dashboard.

Configuration

Voici l'interface de configuration des scrapers

Scrapers config

Les scrapers possèdent beaucoup de paramètres, voici leur fonction :

  • Nom : Le nom du scraper permettant de l'identifier.
  • Fréquence de rescrap : Permet de préciser la fréquence à laquelle vous voulez rescrap votre site et ainsi rafraîchir les données (en jours).
  • Whitelists - Blacklists : Elles sont utilisées afin de définir quels articles doivent être scrapés ou non, en fonction de leur URL.
    Par exemple vous pouvez définir la règle suivante : Ne pas (blacklist) scraper l'article dont l'URL termine par ".com"
  • Extraction des métadonnées et catégories : Permet de spécifier la requête permettant de scraper les métadonnées/catégories

WARNING

Certaines de ces règles peuvent être contradictoires et ainsi compromettre le bon fonctionnement du scraper.

Enfin, vos scrapers sont listés en haut de page.