Comment rendre mon wiki Github explorable par les moteurs de recherche? robots.txt semble l'interdire

9

En utilisant le vérificateur de liens W3C , j'ai découvert que mon wiki Github ne peut pas être exploré:

https://github.com/aegif/CmisSync/wiki/Getting-started-with-CmisSync-development
Statut: (N / A) Interdit par robots.txt

C'est dommage, car j'aimerais que les gens trouvent facilement ce wiki sur les moteurs de recherche.

QUESTION: Comment rendre mon wiki Github explorable par les moteurs de recherche?
Ou je me trompe et le fichier robots.txt de Github est en fait OK?

github search-engine wiki

— nic
source

1

Je soupçonne que la réponse est à peu près la même que dans cette question similaire .

— John C

9

Le GitHub robots.txt n'autorise pas explicitement l'exploration des pages wiki, par exemple dans la section Googlebot:

User-agent: Googlebot
Allow: /*/*/tree/master
Allow: /*/*/blob/master
...
Disallow: /*/*/wiki/*/*

Comme il s'agit du fichier de robots à l'échelle du site, il n'y a pas moyen de le contourner.

C'est un choix intéressant, car GitHub décrit les wikis comme un endroit pour "partager un contenu long sur votre projet". Étant donné que par défaut les wikis publics sont modifiables par n'importe quel utilisateur, il s'agit peut-être d'une protection lourde contre les spammeurs.

— John C
source

0

Les wikis GitHub sont consultables par les moteurs qui le prennent en charge. Voir les deux premières lignes de https://github.com/robots.txt :

# If you would like to crawl GitHub contact us at support@github.com.
# We also provide an extensive API: https://developer.github.com/

C'est probablement pour analyser différents formats de wiki, etc.

Par exemple, recherchez dans Google pour "protocole de courtier openrefine" et le premier hit est une page sous un wiki de projet Github.

— Peter Kehl
source

Hmm, alors pourquoi Google indexe-t -il le wiki Broker-Protocol , et non le wiki de l'OP?

— Vidar S. Ramdal