web-dev-qa-db-fra.com

Navigateur sans tête et grattage - solutions

J'essaie de mettre une liste de solutions possibles pour les combinaisons de tests automatiques de navigateurs et les plates-formes de navigateurs sans tête capables de se gratter.

TEST DE NAVIGATEUR/RACLEMENT

  • Selenium - polyglot ​​phare de l'automatisation du navigateur, liaisons pour Python, Ruby, JavaScript, C #, Haskell et plus, IDE pour Firefox (extension) pour un déploiement de test plus rapide. Peut agir en tant que serveur et possède des tonnes de fonctionnalités.

JAVASCRIPT

  • PhantomJS - JavaScript, test sans tête avec capture d'écran et automatisation, utilise Webkit. À partir de la version 1.8, l'API WebDriver de Selenium est implémentée. Vous pouvez donc utiliser n'importe quelle liaison WebDriver et les tests seront compatibles avec Selenium.
  • SlimerJS - similaire à PhantomJS, utilise Gecko (Firefox) au lieu de WebKit
  • CasperJS - JavaScript, construit à la fois sur PhantomJS et SlimerJS, possède des fonctionnalités supplémentaires
  • Ghost Driver - JavaScript ​​implémentation du WebDriver Wire Protocol pour PhantomJS.
  • new PhantomCSS - Test de régression CSS. Un module CasperJS pour l’automatisation des tests de régression visuels avec PhantomJS et Resemble.js .
  • new WebdriverCSS - plug-in pour Webdriver.io pour automatiser le test de régression visuelle
  • new PhantomFlow - Décrire et visualiser les flux d'utilisateurs à l'aide de tests. Une approche expérimentale pour tester l'interface utilisateur Web.
  • new trifleJS - connecte l'API PhantomJS pour qu'elle utilise le moteur Internet Explorer.
  • nouveau CasperJS IDE (commercial)

NODE.JS

  • Node-Phantom - établit un lien entre PhantomJS et node.js
  • WebDriverJs - Liaisons Selenium WebDriver pour node.js par l'équipe Selenium
  • WD.js - module de noeud pour WebDriver/Selenium 2
  • yiewd - WD.js utilisant les derniers générateurs Harmony! Débarrassez-vous de la pyramide de rappel avec rendement
  • ZombieJs - Test de pile complète sans tête et incroyablement rapide avec node.js
  • NightwatchJs - Node Solution de test basée sur JS utilisant Selenium Webdriver
  • Chimera - Chimera: peut tout faire comme le fait phantomJS, mais dans un environnement JS complet
  • Dalek.js - Test automatisé de navigateurs croisés avec JavaScript via Selenium Webdriver
  • Webdriver.io - Meilleure implémentation des liaisons WebDriver avec plus de 50 actions prédéfinies
  • Nightmare - Pont électronique avec une API de haut niveau.
  • jsdom - Adapté au raclage Web. DOM très léger implémenté dans Node.js, il supporte les pages en javascript.
  • new Puppeteer - Node bibliothèque qui fournit une API de haut niveau pour contrôler Chrome ou chrome. Le marionnettiste fonctionne sans tête par défaut.

NETTOYAGE WEB/MINES

  • Scrapy - Python, principalement un grattoir/mineur - rapide, bien documenté et, peut être associé à Django Dynamic Scraper pour les déploiements miniers de Nice, ou Scrapy Cloud pour le déploiement PaaS (sans serveur), fonctionne en mode terminal ou serveur autonome, peut être utilisé avec Celery, construit sur Tord
  • Snailer - node.js module, pas encore testé.
  • Node-Crawler - node.js module, pas encore testé.

OUTILS EN LIGNE

LIENS ET RESSOURCES CONNEXES

Questions:

  • Toute solution pure Node.js ou module Nodejs to PhanthomJS/CasperJS qui fonctionne réellement et qui est documenté?

Réponse: La chimère semble aller dans cette direction, caisse Chimera

  • Autres solutions capables d’injecter plus facilement du JavaScript que Selenium?

  • Connaissez-vous des solutions pures Ruby?

Answer: Consultez la liste créée par rjk avec les solutions basées sur Ruby

  • Connaissez-vous une technologie ou une solution connexe?

N'hésitez pas à éditer cette question et à ajouter du contenu à votre guise! Merci pour vos contributions!

seleniumweb-scrapingscrapyphantomjscasperjs
356
Inoperable

Si vous aimez Ruby, vous pouvez également essayer:

nokogiri gem peut également être utilisé pour gratter:

il existe un livre consacré à l'utilisation de nokogiri pour le raclage par publication en paquets

32
rkj

http://triflejs.org/ est comme phantomjs mais basé sur IE

10
Federico Galassi

Une sorte de sélénium basé sur JS est Dalek.js . Il ne vise pas seulement les tests frontaux automatisés, vous pouvez également faire des captures d'écran avec. Il a webdrivers pour tous les navigateurs importants. Malheureusement, ces webdrivers semblent mériter d'être améliorés (juste pour ne pas dire "buggy" à Firefox).

7
Jens Grochtdreis