Python Selenium accédant à la source HTML

Comment puis-je obtenir la source HTML dans une variable en utilisant le module Selenium avec Python?

Je voulais faire quelque chose comme ça:

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("http://example.com")
if "whatever" in html_source:
    # Do something
else:
    # Do something else

Comment puis-je faire ceci? Je ne sais pas comment accéder à la source HTML.

Vous devez accéder à la page_sourcepropriété:

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("http://example.com")

html_source = browser.page_source
if "whatever" in html_source:
    # do something
else:
    # do something else

Avec Selenium2Library, vous pouvez utiliser get_source()

import Selenium2Library
s = Selenium2Library.Selenium2Library()
s.open_browser("localhost:7080", "firefox")
source = s.get_source()

driver.page_source vous aidera à obtenir le code source de la page. Vous pouvez vérifier si le texte est présent dans la source de la page ou non.

from selenium import webdriver
driver = webdriver.Firefox()
driver.get("some url")
if "your text here" in driver.page_source:
    print('Found it!')
else:
    print('Did not find it.')

Si vous souhaitez stocker la source de la page dans une variable, ajoutez la ligne ci-dessous après driver.get :

var_pgsource=driver.page_source

et changez la condition if en:

if "your text here" in var_pgsource:

En utilisant la source de la page, vous obtiendrez l'intégralité du code HTML.
Alors commencez par décider du bloc de code ou de la balise dans lequel vous souhaitez récupérer les données ou cliquer sur l'élément.

options = driver.find_elements_by_name_("XXX")
for option in options:
    if option.text == "XXXXXX":
        print(option.text)
        option.click()

Vous pouvez trouver les éléments par nom, XPath, id, lien et chemin CSS.

Pour répondre à votre question sur l'obtention de l' URL à utiliser pour urllib, exécutez simplement ce code JavaScript:

url = browser.execute_script("return window.location;")

Vous pouvez simplement utiliser l' WebDriverobjet, et accéder au code source de la page via son @propertychamppage_source ...

Essayez cet extrait de code :-)

from selenium import webdriver
driver = webdriver.Firefox('path/to/executable')
driver.get('https://some-domain.com')
source = driver.page_source
if 'stuff' in source:
    print('found...')
else:
    print('not in source...')

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome()
html_source_code = driver.execute_script("return document.body.innerHTML;")
html_soup: BeautifulSoup = BeautifulSoup(html_source_code, 'html.parser')

Vous pouvez maintenant appliquer la fonction BeautifulSoup pour extraire des données ...

Je vous recommande d'obtenir la source avec urllib et, si vous voulez analyser, utilisez quelque chose comme Beautiful Soup .

import urllib

url = urllib.urlopen("http://example.com") # Open the URL.
content = url.readlines() # Read the source and save it to a variable.