Déplacement du nœud SecondaryName dans un cluster Cloudera HBase

11

J'ai déployé le namenode secondaire sur la même machine est mon namenode principal:

Cela est incorrect pour des raisons de performances et de durabilité (le nœud de nom secondaire n'est pas un disque de secours, mais il a une copie des métadonnées nécessaires). J'ai trouvé de la documentation sur la façon de déplacer le namenode , mais rien sur le déplacement du namenode secondaire.

Quelqu'un ayant de l'expérience sait-il comment le faire en toute sécurité?

hadoop hbase cloudera

— Kyle Brandt
source

Y a-t-il une raison pour laquelle vous ne pouvez pas simplement supprimer le rôle secondaire, puis l'ajouter à nouveau sur un hôte différent? Vous serez temporairement sans namenode secondaire, mais cela ne devrait pas trop d'importance.

— growse

@growse: Aucune idée - si je pouvais répondre que je ne demanderais pas à des gens aléatoires sur Internet comment gérer mon cluster HBase ;-)

— Kyle Brandt

Je vous propose donc une réponse :)

— growse

4

Il doit être suffisamment sûr pour supprimer simplement le rôle Namenode secondaire, puis l'ajouter à nouveau sur un nœud différent du cluster. Dans la période intermédiaire, vous pouvez voir un avertissement de Cloudera Manager que le rôle n'existe pas (ce qui peut causer des problèmes à long terme avec le namenode), mais ne pas avoir de secondaire ne met plus vos données en danger.

— grandir
source

3

Le travail du 2NN est de lire les modifications sur le système de fichiers HDFS et de les ajouter au fsimage. Cela réduit le temps de démarrage de NN car au démarrage, le NN lit le fsimagefichier, puis applique toutes les modifications de journal intermédiaires par-dessus. La dénomination est quelque peu malheureuse car ce n'est en effet pas un NN de secours / sauvegarde mais seulement un utilitaire pour augmenter les performances NN.

Dans CM, il y a une option pour "Roll Edits" (selon votre version CM) sur le 2NN, voir aussi "Checkpointing" . Assurez-vous de le faire avant de déménager.
Pour être sûr, arrêtez tous les services
Déplacez le rôle 2NN vers une nouvelle machine.
Redémarrez tous les services
(Facultatif mais ça vaut le coup): implémenter HA

— c4ourself
source