Navigateur sans tête et grattage - solutions [fermé]

J'essaie de mettre une liste de solutions possibles pour les combinaisons de tests automatiques de navigateur et les plates-formes de navigateur sans tête capables de gratter.

TEST / NAVIGATION DU NAVIGATEUR:

• Sélénium - produit phare polyglotte dans l'automatisation des navigateurs, liaisons pour Python, Ruby, JavaScript, C #, Haskell et plus, IDE pour Firefox (en tant qu'extension) pour un déploiement de test plus rapide. Peut agir comme un serveur et possède des tonnes de fonctionnalités.

JAVASCRIPT

• PhantomJS - JavaScript , test sans tête avec capture d'écran et automatisation, utilise Webkit . Depuis la version 1.8, l'API WebDriver de Selenium est implémentée, vous pouvez donc utiliser n'importe quelle liaison WebDriver et les tests seront compatibles avec Selenium
• SlimerJS - similaire à PhantomJS, utilise Gecko (Firefox) au lieu de WebKit
• CasperJS - JavaScript , construit à la fois sur PhantomJS et SlimerJS, a des fonctionnalités supplémentaires
• Ghost Driver - Implémentation JavaScript du protocole WebDriver Wire pour PhantomJS .
• nouveau PhantomCSS - test de régression CSS. Un module CasperJS pour automatiser les tests de régression visuelle avec PhantomJS et Resemble.js .
• nouveau WebdriverCSS - plugin pour Webdriver.io pour automatiser les tests de régression visuelle
• nouveau PhantomFlow - Décrire et visualiser les flux d'utilisateurs à travers des tests. Une approche expérimentale des tests d'interface utilisateur Web.
• new trifleJS - met en communication l'API PhantomJS pour utiliser le moteur Internet Explorer.
• nouveau CasperJS IDE (commercial)

NODE.JS

• Node-phantom - comble le fossé entre PhantomJS et node.js
• WebDriverJs - Liaisons Selenium WebDriver pour node.js par l'équipe Selenium
• WD.js - module de noeud pour WebDriver / Selenium 2
• yiewd - WD.js wrapper utilisant les derniers générateurs Harmony! Débarrassez-vous de la pyramide de rappel avec un rendement
• ZombieJs - Tests de pile complète sans tête incroyablement rapides à l'aide de node.js
• NightwatchJs - Solution de test basée sur Node JS utilisant Selenium Webdriver
• Chimera - Chimera: peut faire tout ce que fait phantomJS, mais dans un environnement JS complet
• Dalek.js - Test de navigateur croisé automatisé avec JavaScript via Selenium Webdriver
• Webdriver.io - meilleure implémentation des liaisons WebDriver avec plus de 50 actions prédéfinies
• Nightmare - Pont d'électrons avec une API de haut niveau.
• jsdom - Adapté au grattage Web. Un DOM très léger implémenté dans Node.js, il prend en charge les pages avec javascript.
• nouvelle bibliothèque Puppeteer - Node qui fournit une API de haut niveau pour contrôler Chrome ou Chrome. Puppeteer fonctionne sans tête par défaut.

GRATTAGE / EXPLOITATION WEB

• Scrapy - Python , principalement un scraper / mineur - rapide, bien documenté et, peut être lié à Django Dynamic Scraper pour de beaux déploiements de minage, ou Scrapy Cloud pour le déploiement PaaS (sans serveur), fonctionne dans un terminal ou un serveur autonome proces , peut être utilisé avec le céleri , construit sur Twisted
• Snailer - module node.js , non encore testé.
• Node-Crawler - module node.js , non encore testé.

OUTILS EN LIGNE

• nouveau Web Scraping Language - Syntaxe simple pour explorer le Web

• nouveau client HTTP en ligne - Réponse SO dédiée

• dead CasperBox - Exécuter desscripts CasperJS en ligne

LIENS ET RESSOURCES CONNEXES

• Comparaison de logiciels de Webscraping
• nouveau Resemble.js : analyse et comparaison d'images

Des questions:

• Une solution Node.js pure ou un module Nodejs to PhanthomJS / CasperJS qui fonctionne réellement et est documenté?

Réponse: Chimera semble aller dans cette direction, consultez Chimera

• D'autres solutions capables d'injecter JavaScript plus facilement que Selenium?

• Connaissez-vous des solutions de rubis pur ?

Réponse: consultez la liste créée par rjk avec des solutions à base de rubis

• Connaissez-vous une technologie ou une solution connexe?

N'hésitez pas à modifier cette question et à ajouter du contenu à votre guise! Merci pour vos contributions!

Si Ruby est votre truc, vous pouvez également essayer:

• https://github.com/chriskite/anemone (développement arrêté)
• https://github.com/sparklemotion/mechanize
• https://github.com/postmodern/spidr
• https://github.com/stewartmckee/cobweb
• http://watirwebdriver.com/ (Sélénium)

De plus, la gemme Nokogiri peut être utilisée pour le grattage:

• http://nokogiri.org/

il y a un livre dédié sur la façon d'utiliser nokogiri pour le grattage par packt publishing

http://triflejs.org/ est comme phantomjs mais basé sur IE

Une sorte de sélénium basé sur JS est Dalek.js . Il ne vise pas seulement des tests frontaux automatisés, vous pouvez également faire des captures d'écran avec. Il a des pilotes Web pour tous les navigateurs importants. Malheureusement, ces pilotes Web semblent valoir la peine d'être améliorés (pour ne pas dire "buggy" à Firefox).