Connaître votre concours en ligne comment révéler les domaines de direction de 301

Je crois sincèrement que tout webmaster entrant dans un créneau devrait enquêter au préalable sur sa concurrence en ligne pour savoir ce qu'il affronte et pour voir si ses objectifs sont réalistes et abordables en temps et en argent.

Comme vous le savez peut-être, il existe plusieurs façons d'enquêter sur vos concurrents en ligne. Classements, classements locaux, citations, mentions sociales et bien sûr des backlinks. Cette question n'est liée à aucun des éléments ci-dessus, mais est quelque peu liée car elle a le même objectif final que vous verrez momentanément.

J'espère donc que ma question et les réponses à suivre pourront aider un autre webmaster à rencontrer le même problème. Je vais illustrer le problème comme un scénario qui, espérons-le, vous donnera une idée de ce que je crois et de ce que je demande.

Le scénario

Votre site Web se classe au premier rang depuis près de 2 ans dans un créneau assez concurrentiel. Puis, de nulle part, vous perdez dans le classement et un site qui n'a jamais été en page 10, sans parler de la position 10, est tout d'un coup en haut.

Une réaction immédiate peut être un acte criminel et vous examinez leur contenu et leurs backlinks, seulement pour constater que leur contenu est extrêmement mince et qu'ils n'ont aucun backlink. Ainsi, la possibilité ici est que les backlinks n'ont pas été indexés pour ce site avec l'outil que vous utilisez pour les vérifier. Ou, pour une raison quelconque, Google a fait une erreur qui se résoudra d'elle-même.

4 mois et le même site mince avec 0 backlinks (seulement ceux des robots / scrapers attendus - webstats, etc.) est toujours en tête du classement.

Il semble donc que ce site est là pour rester et vous commencez à réfléchir à d'autres raisons pour lesquelles votre site est surclassé.

Une raison possible pourrait être que votre propre classement a glissé, ainsi que de nombreux autres sites, mais que le classement de tous ces sites soit irréaliste, la seule façon d'aller de l'avant serait de croire qu'ils ont gagné leur classement grâce à la réputation de Google ou au jeu déloyal . La conclusion ici serait - ou du moins la mienne - que le site en question est récemment passé d'un domaine à un autre. Ils peuvent simplement avoir une simple redirection 301 d'un domaine vers un autre, ou ils peuvent avoir dit à Google dans Google Webmaster Tools qu'ils ont déplacé le site. Scénario terminé.

La question

Ma question est assez simple et je m'excuse pour les longs paragraphes de texte, mais je veux avoir une bonne idée de ce que l'on essaie de réaliser ici. Assez tapé, voici la question!

Est-il possible de savoir si un domaine est passé d'un domaine à un autre, soit en utilisant 301 redirige ou en se déplaçant dans Google Webmaster Tools?

La connaissance de l'URL 301 redirigée est possible dans plusieurs cas mais pas tout le temps.

Plusieurs outils en ligne comme Ahrefs ou MajesticSEO peuvent afficher ce type d'informations pour vous. Il vous suffit de regarder les backlinks classés sous le statut "Rediriger".

Exemple pour Ahrefs:

Cependant, vous devez savoir qu'un bon professionnel du référencement ne veut pas que les gens trouvent la redirection 301 car dans la plupart des cas, l'URL redirigée a reçu dans le passé de très bons backlinks provenant de bons sites de référencement (sites Web avec un PageRank élevé par exemple).
C'est pourquoi en général, afin de cacher ces bons sites de référencement (et donc peut-être de bonnes opportunités pour tout le monde d'obtenir de très bons backlinks), vous ne pouvez pas trouver l'URL redirigée avec des outils en ligne. En effet, le professionnel a bloqué pour l'URL redirigée tous les robots (notamment ceux d'Ahrefs, MajesticSEO ...) à l'exception de ceux de Google.
En conséquence, la redirection 301 est puissante pour le référencement et cachée pour les gens.

PS: le camouflage peut également être appliqué par le professionnel pour masquer les backlinks vers l'URL redirigée pour les visiteurs. Par conséquent, ces bons endroits pour le référencement sont encore mieux cachés.

Il existe plusieurs sites qui vous donneront toutes sortes d'informations sur les sites tels que:

• Nombre de pages sur le site
• Estimation du trafic sur le site
• Autres sites hébergés à la même adresse IP (presque ce que vous voulez)
• Autres sites enregistrés auprès du même propriétaire (encore une fois, presque ce que vous voulez)

Je n'ai pas pu en trouver un qui vous indique quels autres noms de domaine redirigent vers un site. Il ne serait probablement pas très difficile pour l'un de ces sites d'ajouter ce type de fonctionnalité.

Si je devais essayer de construire un outil pour répondre à cette question, voici ce que je ferais:

• Téléchargez la liste complète des noms de domaine qui ont des entrées DNS. C'est en soi un projet. Vous devez faire une demande d'accès à chaque registre ou payer un courtier qui a fait ces démarches. Cette question sur stackoverflow a des réponses pour les deux approches
• Téléchargez une page de chacun des 150 millions de noms de domaine pour voir s'il redirige vers un autre site. Je pense que vous devriez être capable d'en faire environ 50 par seconde et que l'exploration prendrait un peu plus d'un mois. Cette tâche est partageable, donc elle pourrait être accélérée en ayant plusieurs machines travaillant dessus. La bande passante et les coûts d'hébergement de ce robot pourraient finir par être considérables, la bande passante pour 50 sites par seconde serait probablement d'environ 20 Mo / s en supposant un téléchargement moyen de 50 Ko avant le site.

Je soupçonne que cela est plus efficace en utilisant la balise canonique interdomaine. L'utilisation de la balise canonique garderait le site non indexé actif afin que vous puissiez continuer à créer des liens qui passent au site money (il est difficile d'envoyer une demande de lien pour une page qui a déjà été 301).

Il n'y a aucun moyen automatisé / standard que je connaisse pour détecter les 301. Et je ne pense pas qu'il y ait moyen de croire que vous les avez tous trouvés. Voici quelques options qui pourraient vous aider à en trouver:

Recherche DNS pour voir si vous pouvez trouver d'autres domaines par le même propriétaire. Cela vous donnera un bon point de départ si vous en trouvez un. Il existe des sites Web qui sont utilisés pour essayer de trouver des réseaux de sites ( spyonweb.comje pense qu'il en est un) qui utilisent AdSense ID, ID d'affilié, informations DNS, etc. Dans ce cas, je ne pense pas que le propriétaire laisserait l'une de ces empreintes mais vous on ne sait jamais.

Le robot d'indexation open source, devrait pouvoir être modifié pour ne suivre que les liens 301 et renvoyer les résultats pour le nom de domaine souhaité.

Recherchez les vendeurs de liens dans votre créneau. Cela est probablement fait dans le but de créer un tampon entre le site de l'argent et les éventuels mauvais liens (il est beaucoup plus facile de fermer un seul site redirigé, puis de demander à quelques centaines de webmasters de supprimer les liens vers votre site si vous êtes pénalisé). ). Cela pourrait signifier qu'ils participent à des achats de liens, l'utilisation de quelque chose comme Xenu sur le site des vendeurs se traduirait par 301.

inanchor:recherche sur Google. S'il existe une marque d'identification qui se classe bien pour vous, vous pouvez afficher des liens qui utilisent la marque dans le texte d'ancrage, mais accédez à un autre domaine (qui, nous l'espérons, redirige vers le domaine que vous souhaitez).

S'il vous arrive de trouver 1 ou 2 sites en utilisant ces méthodes, vous trouverez probablement un modèle qui peut être utilisé pour en trouver plus.

Cependant, tout cela serait théorique, s'ils utilisent la balise canonique au lieu de 301. Je suis sûr que vous pouvez faire des recherches créatives supplémentaires, mais cela devrait vous donner un bon départ.

-Bonne chance