2
Le moyen le plus efficace (temps, coût) de gratter 5 millions de pages Web?
J'ai une liste de pages Web dont j'ai besoin pour gratter, analyser puis stocker les données résultantes dans une base de données. Le total est d'environ 5 000 000. Mon hypothèse actuelle sur la meilleure façon d'aborder cela est de déployer ~ 100 instances EC2, de fournir à chaque instance …