Internet et le Scraping

@bzerath: Des prix, pour en faire des courbes et en définir des cotes.

@Subuxone: ya keepa qui fait ça sur amazon si tu connais pas

@bzerath: J'ai eu des retours comme quoi l'API était super mais malheureusement payante.
Je n'ai donc jamais eu l'occasion d'y mettre un doigt.
Je trouve que Amazon n'est pas trop restrictif sur le scraping, ça se fait plutôt bien, je n'ai jamais eu de soucis avec eux.

@jeandoux: Pas du tout, je fais tout maison car je n'ai pas de budget ( je ne paie qu'un fournisseur de VPN). J'utilise essentiellement du curl / puppetter / playwright / appium pour android.
J'évite autant que possible d'utiliser un vrai navigateur car c'est un gouffre à ressource et je ne suis pas billes gate.

@Subuxone: Je comprends bien ! Après tout dépend de ton usage aussi, on a mis un certain temps ici à sortir du free tier de Apify

@jeandoux: La plus grosse de mes problématiques est Cloudflare et surtout Imperva. Surtout quand je dois venir souvent sur une page ( exemple statistiques du prix du yaourt dans un drive, donc allez sur tous les drives, tous les articles, tout le temps, ...).

Je ne sais pas comment facture Apify mais pour te donner une idée, en chargant juste le corps des pages, sans chargement javascript, des images, pubs, ... je tire environ 70Go de HTML par jour. CA représente entre 1500 et 2500 IPs/instances qui tournent. Ca doit être hors de prix pour un particulier.

@Subuxone: Ok en effet ça aurait été mieux de donner plus de contexte dès le début 😅

C'est assez marrant parce que t'as l'air de faire ça un peu pour le plaisir, en tant que particulier, alors que t'as clairement un usage qui pourrait être celui d'un pro. T'en fais quoi de tes 70gb de HTML tous les jours du coup ?

Je te confirme en tout cas que, même si Apify pourrait sans doute faire le taff, ça te coûterait un bras, donc à moins d'avoir un business derrière, c'est en effet pas du tout ce qui te faut.

Bonne chance en tout cas, surtout pour Imperva, tu t'attaques à un truc dont le seul objet est d'empêcher ton activité, et globalement ils ont plus de moyens que toi. Il te bloque petit à petit ? Je suppose qu'il faut rajouter des proxy et des user-agents et rotate tout ça en permanence pour pas se faire griller, bon courage franchement !

@jeandoux:
Mes 70Go de HTML, je les parse et je récupère les infos qui m'intéresse pour les mettre dans une base de données. Je n'ai pas de liste exhaustive mais je m'en sers pour :
- constater les variations de prix d'articles
- suivre des évolutions de stock
- détecter des anomalies de prix
- définir des cotations d'articles de collection
- Reconstruire des bases catalogues, magasins, EANs, etc.

Imperva / Cloudflare c'est assez chiant oui.
La rotation d'IP ainsi que la restitution de header ( user agents, language, encoding, ...) crédible n'est pas une solution viable pour bypasser efficacement ces services. On peut aussi jouer avec le ciphers mais je ne trouve pas cela très probant pour le moment.
Je n'ai pas les moyens nécessaires ( Infra ) pour faire tourner 100 navigateurs en dur, donc pour le moment j'ai une forge à cookie qui me permet de bypasser certaines vérifications( résolution javascript, captcha, ...).
La forge produit mon cookie valide pendant quelques minutes, je l''injecte dans du curl avec ce qui va bien pour requeter un certain temps.

Mais oui, c'est eux qui vont gagner la guerre, je fais ça sur mon temps libre, quand j'ai envie.

@Subuxone: Et tu as identifié des moyens de te faire du cash avec ce que tu fais sinon ? Si tu préfères on peut passer en MP pour en discuter.

@jeandoux: Je n'ai pas identifié car je n'ai ni envie de marchander, ni envie d'être redevable d'une quelconque qualité de service, ni envie d'être à la base de potentielle emmerde.

@Hqro: c'est pas du scraping ça , c'est du ddos

@Offerzo: nan franchement j'ai fais doucement, j'ai encore le code sur mon Github et c'était vraiment tout doux.

@Hqro: Bah si ça faisait tomber le site c'est qu'il y a un soucis quelque part quand même 😅

@jeandoux: Je suis pas sûr que le site soit capable de gérer plus de 4 ou 5 utilisateurs simultanés (à l'époque)

@VilainCookie: Le scrapping, c'est "l'aspiration" de site web.
ça peut être pour faire une copie conforme (pour conservé le site).
Mais ça peut être aussi pour la création de base de donnée. (et de sont exploitation).