Un robot simple utilisant Cheerio
Voici ma formule pour créer un robot simple dans Node.js. C'est la principale raison de vouloir faire une manipulation DOM du côté serveur et c'est probablement la raison pour laquelle vous êtes arrivé ici.
Tout d'abord, utilisez requestpour télécharger la page à analyser. Une fois le téléchargement terminé, gérez-le cheerioet commencez la manipulation du DOM comme si vous utilisiez jQuery.
Exemple de travail:
var
request = require('request'),
cheerio = require('cheerio');
function parse(url) {
request(url, function (error, response, body) {
var
$ = cheerio.load(body);
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Cet exemple imprimera à la console toutes les principales questions affichées sur la page d'accueil SO. C'est pourquoi j'aime Node.js et sa communauté. Rien de plus simple :-)
Installer les dépendances:
demande d'installation npm cheerio
Et exécutez (en supposant que le script ci-dessus est dans le fichier crawler.js):
node crawler.js
Codage
Certaines pages auront un contenu non anglais dans un certain encodage et vous devrez le décoder UTF-8. Par exemple, une page en portugais brésilien (ou toute autre langue d'origine latine) sera probablement codée ISO-8859-1(aka "latin1"). Lorsque le décodage est nécessaire, je dis de requestne pas interpréter le contenu de quelque manière que ce soit et de l'utiliser iconv-liteà la place pour faire le travail.
Exemple de travail:
var
request = require('request'),
iconv = require('iconv-lite'),
cheerio = require('cheerio');
var
PAGE_ENCODING = 'utf-8'; // change to match page encoding
function parse(url) {
request({
url: url,
encoding: null // do not interpret content yet
}, function (error, response, body) {
var
$ = cheerio.load(iconv.decode(body, PAGE_ENCODING));
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Avant d'exécuter, installez les dépendances:
demande d'installation npm iconv-lite cheerio
Et puis finalement:
node crawler.js
Liens suivants
La prochaine étape serait de suivre les liens. Supposons que vous souhaitiez répertorier toutes les affiches de chaque question principale sur SO. Vous devez d'abord répertorier toutes les principales questions (exemple ci-dessus), puis entrer chaque lien, en analysant la page de chaque question pour obtenir la liste des utilisateurs impliqués.
Lorsque vous commencez à suivre des liens, un enfer de rappel peut commencer. Pour éviter cela, vous devez utiliser une sorte de promesses, de futurs ou autre. Je garde toujours asynchrone dans ma ceinture d'outils. Voici donc un exemple complet d'un robot utilisant async:
var
url = require('url'),
request = require('request'),
async = require('async'),
cheerio = require('cheerio');
var
baseUrl = 'http://stackoverflow.com/';
// Gets a page and returns a callback with a $ object
function getPage(url, parseFn) {
request({
url: url
}, function (error, response, body) {
parseFn(cheerio.load(body))
});
}
getPage(baseUrl, function ($) {
var
questions;
// Get list of questions
questions = $('.question-summary .question-hyperlink').map(function () {
return {
title: $(this).text(),
url: url.resolve(baseUrl, $(this).attr('href'))
};
}).get().slice(0, 5); // limit to the top 5 questions
// For each question
async.map(questions, function (question, questionDone) {
getPage(question.url, function ($$) {
// Get list of users
question.users = $$('.post-signature .user-details a').map(function () {
return $$(this).text();
}).get();
questionDone(null, question);
});
}, function (err, questionsWithPosters) {
// This function is called by async when all questions have been parsed
questionsWithPosters.forEach(function (question) {
// Prints each question along with its user list
console.info(question.title);
question.users.forEach(function (user) {
console.info('\t%s', user);
});
});
});
});
Avant de courir:
demande d'installation npm async cheerio
Exécutez un test:
node crawler.js
Exemple de sortie:
Is it possible to pause a Docker image build?
conradk
Thomasleveil
PHP Image Crop Issue
Elyor
Houston Molinar
Add two object in rails
user1670773
Makoto
max
Asymmetric encryption discrepancy - Android vs Java
Cookie Monster
Wand Maker
Objective-C: Adding 10 seconds to timer in SpriteKit
Christian K Rider
Et c'est la base que vous devez savoir pour commencer à créer vos propres robots :-)
Bibliothèques utilisées