Je veux gratter toutes les données d'une page implémentée par un scroll infini. Le code python suivant fonctionne.
for i in range(100):
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(5)
Cela signifie que chaque fois que je fais défiler vers le bas, je dois attendre 5 secondes, ce qui est généralement suffisant pour que la page termine le chargement du contenu nouvellement généré. Mais cela peut ne pas être efficace en termes de temps. La page peut finir de charger le nouveau contenu dans les 5 secondes. Comment puis-je détecter si la page a fini de charger le nouveau contenu à chaque fois que je fais défiler vers le bas? Si je peux détecter cela, je peux à nouveau faire défiler vers le bas pour voir plus de contenu une fois que je sais que la page a fini de charger. C'est plus efficace en temps.