Webscraping - est-ce illégal ? - & conseils
Voilà, j'ai fait un scraper pour Steam parce que leur API - toute pourrie du cul - ne fournit pas les données dont j'ai besoin. Du coup je me demander si c'était légal ou non.
Et aussi, pourquoi pas, si vous aviez des conseils en tout genre ? Parce que recevoir 20 entrées toutes les 2 secondes pour un total de 100K entrées, c'est un peu chiant.
Oui, c'est illégale. Par exemple, LinkedIn a porté plainte contre des scrapeurs.
Tu dois bien faire attention à ne pas te faire blacklister et donc aux choix, émettre un timeout, simuler la souris, etc. Il y a des bibliothèques suivant ton langage pour manager le scraping à plusieurs VPS.
Si tu dois générer le contenu JavaScript, phantomJs est le plus utilisé mais il n'a plus d'update. Il me semble que les créateurs de scrapy ont sorti un équivalent plus rapide.
Et sur un site comme Steam que j'imagine pourvu de surveillance au scraping, 20 requêtes par 2 sec, c'est correct pour ne pas trop se faire prendre (et encore).
Pour faire plus de requêtes, il te suffit de multiplier le nombre de VPS.
Tu utilises quel langage? Quel bibliothèque ?
Tu ne dois accéder à ce site que si tu as au moins 18 ans ou si tu as l'âge légal pour visionner ce type de matériel dans ta juridiction locale, l’âge le plus élevé étant retenu. En outre, tu déclares et garantis que tu ne permettras aucun mineur à d'accéder à ce site ou à ces services.
En accédant à ce site, tu acceptes nos conditions d'utilisation.