Est-il possible de trouver toutes les pages et liens sur TOUT site Web donné? Je voudrais entrer une URL et produire une arborescence de répertoires de tous les liens de ce site?
J'ai regardé HTTrack mais cela télécharge tout le site et j'ai simplement besoin de l'arborescence des répertoires.
Réponses:
Check out linkchecker - il explorera le site (tout en obéissant robots.txt) et générera un rapport. À partir de là, vous pouvez créer un script pour une solution pour créer l'arborescence de répertoires.
robots.txtfichier, cela signifie simplement que vous pouvez explorer à votre guise.
Si vous avez la console développeur (JavaScript) dans votre navigateur, vous pouvez saisir ce code dans:
urls = document.querySelectorAll('a'); for (url in urls) console.log(urls[url].href);
Raccourci:
n=$$('a');for(u in n)console.log(n[u].href)
$$opérateur? Ou est-ce juste un nom de fonction arbitraire, comme n=ABC(''a'); je ne comprends pas comment urlsobtenir tous les éléments étiquetés «a». Peux-tu expliquer? Je suppose que ce n'est pas jQuery. De quelle fonction de bibliothèque prototype parlons-nous?
$$()est essentiellement un raccourci pour document.querySelectorAll(). Plus d'infos sur ce lien: developer.mozilla.org/en-US/docs/Web/API/Document/…
Une autre alternative pourrait être
Array.from(document.querySelectorAll("a")).map(x => x.href)
Avec ton c'est $$(encore plus court
Array.from($$("a")).map(x => x.href)
S'il s'agit d'une question de programmation, je vous suggère d'écrire votre propre expression régulière pour analyser tout le contenu récupéré. Les balises cibles sont IMG et A pour le HTML standard. Pour JAVA,
final String openingTags = "(<a [^>]*href=['\"]?|<img[^> ]* src=['\"]?)";
ceci avec les classes Pattern et Matcher devrait détecter le début des balises. Ajoutez la balise LINK si vous voulez également du CSS.
Cependant, ce n'est pas aussi facile que vous le pensiez initialement. De nombreuses pages Web ne sont pas bien formées. Extraire par programmation tous les liens que l'être humain peut "reconnaître" est vraiment difficile si vous devez prendre en compte toutes les expressions irrégulières.
Bonne chance!
function getalllinks($url) {
$links = array();
if ($fp = fopen($url, 'r')) {
$content = '';
while ($line = fread($fp, 1024)) {
$content. = $line;
}
}
$textLen = strlen($content);
if ($textLen > 10) {
$startPos = 0;
$valid = true;
while ($valid) {
$spos = strpos($content, '<a ', $startPos);
if ($spos < $startPos) $valid = false;
$spos = strpos($content, 'href', $spos);
$spos = strpos($content, '"', $spos) + 1;
$epos = strpos($content, '"', $spos);
$startPos = $epos;
$link = substr($content, $spos, $epos - $spos);
if (strpos($link, 'http://') !== false) $links[] = $link;
}
}
return $links;
}
essayez ce code ...