Questions marquées «web-scraping»

Le scraping Web est le processus d'extraction d'informations spécifiques à partir de sites Web qui ne fournissent pas facilement une API ou d'autres méthodes de récupération automatisée de données. Les questions sur "Comment démarrer avec le scraping" (par exemple avec Excel VBA) doivent être * soigneusement recherchées * car de nombreux exemples de code fonctionnel sont disponibles. Les méthodes de scraping Web incluent des applications tierces, le développement de logiciels personnalisés ou même la collecte manuelle de données de manière standardisée.

16
Comment trouver des éléments par classe
J'ai du mal à analyser les éléments HTML avec l'attribut "class" à l'aide de Beautifulsoup. Le code ressemble à ceci soup = BeautifulSoup(sdata) mydivs = soup.findAll('div') for div in mydivs: if (div["class"] == "stylelistrow"): print div J'obtiens une erreur sur la même ligne "après" la fin du script. File "./beautifulcoding.py", …
3
Quel analyseur HTML est le meilleur? [fermé]
Dans l'état actuel des choses, cette question ne convient pas à notre format de questions / réponses. Nous nous attendons à ce que les réponses soient étayées par des faits, des références ou une expertise, mais cette question suscitera probablement un débat, des arguments, des sondages ou une discussion approfondie. …
13
Comment sélectionner une valeur de menu déroulant avec Selenium en utilisant Python?
J'ai besoin de sélectionner un élément dans un menu déroulant. Par exemple: <select id="fruits01" class="select" name="fruits"> <option value="0">Choose your fruits:</option> <option value="1">Banana</option> <option value="2">Mango</option> </select> 1) Je dois d'abord cliquer dessus. Je fais ça: inputElementFruits = driver.find_element_by_xpath("//select[id='fruits']").click() 2) Après cela, je dois sélectionner le bon élément, disons Mango. J'ai essayé …
14
Page JavaScript de Web-scraping avec Python
J'essaye de développer un simple grattoir Web. Je souhaite extraire du texte sans le code HTML. En fait, j'atteins cet objectif, mais j'ai vu que dans certaines pages où JavaScript est chargé, je n'obtenais pas de bons résultats. Par exemple, si du code JavaScript ajoute du texte, je ne peux …
7
Marionnettiste: passer la variable dans .evaluate ()
J'essaie de passer une variable dans une page.evaluate()fonction dans Puppeteer , mais lorsque j'utilise l'exemple très simplifié suivant, la variable evalVarn'est pas définie. Je suis nouveau sur Puppeteer et je ne trouve aucun exemple sur lequel s'appuyer, j'ai donc besoin d'aide pour transmettre cette variable dans la page.evaluate()fonction afin de …
8
Comment puis-je gratter plus vite
Le travail ici consiste à supprimer une API d'un site qui commence à partir https://xxx.xxx.xxx/xxx/1.jsonde https://xxx.xxx.xxx/xxx/1417749.jsonet à l'écrire exactement sur mongodb. Pour cela j'ai le code suivant: client = pymongo.MongoClient("mongodb://127.0.0.1:27017") db = client["thread1"] com = db["threadcol"] start_time = time.time() write_log = open("logging.log", "a") min = 1 max = 1417749 for …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.