Synchronisation d'annuaire avec découverte automatique des homologues

10

Je travaille avec un cluster de serveurs Linux derrière la fonctionnalité de mise à l'échelle automatique du cloud Amazon ( documentation ). Il y a des fichiers qui s'accumulent sur chaque serveur, ce sont des fichiers de cache pour l'application. Je recherche un moyen automatisé pour que les serveurs synchronisent ce dossier entre eux.

Rsync fonctionnerait si quelqu'un avait un moyen intelligent de détecter les pairs.
Il en va de même Unison.
Nous avons également envisagé d'utiliser un SaaS tel que Dropbox.
Gluster semble exagéré, et je ne suis pas sûr de la facilité avec laquelle un nouvel ordinateur rejoint automatiquement le cluster.

Idéalement, ce qui se passerait, c'est quand un nouveau serveur est lancé, il découvre ses pairs et commence la synchronisation du dossier. À partir de ce moment, c'est un dernier horodatage qui gagne la synchronisation P2P.

Quelque chose qui fait ça?

linux rsync cluster

— Caleb
source

Celui-ci ne fait pas de détection de pairs, mais il peut être intéressant malgré tout - mrsync.sourceforge.net .

— Faheem Mitha

1

Vous savez aussi bizarre que cela puisse paraître, mais l'utilisation de rtorrent avec DHT activé sur la gamme ec2 privée pourrait fonctionner

Cela vous donnerait

Découverte automatique des pairs
États des fichiers vérifiés (oui pour les hachages)
Configuration minimale requise (ajoutez l'aimant (ou l'ip virtuelle pour le dernier torrent) pour le torrent dans le script de démarrage)
évolutivité

— Tacticus
source

1

Rsync en amont prend en charge SLP (Service location protocol). Il n'est pas activé dans les sources vanilla rsync, mais vous pouvez trouver le support SLP dans l'archive tar rsync-patches sur la page d'accueil rsync (slp.diff). Par exemple, le package rsync SUSE est construit avec ce correctif; Je ne connais pas les autres distributions.

Je ne suis pas sûr que ce soit ce que vous recherchez et je n'ai aucune expérience avec SLP, cependant.

— Petr Uzel
source

0

Peut-être qu'il me manque quelque chose ici, mais y a-t-il une raison pour laquelle vous ne vous contentez pas de configurer un simple répertoire NFS et que toutes les machines le montent? Chaque fois que l'application écrit le nouveau fichier cache, elle devrait simplement remplacer les anciens.

— opsguy
source

1

Salut opsguy. Ce qui vous manque, c'est ce qui se passe lorsque la machine avec le NFS tombe en panne? Nous essayons d'éliminer le point de défaillance unique pour le cache.

0

Je suis sûr qu'il existe un outil de gestion Amazon, tel que les outils de ligne de commande , qui vous permet d'écrire un script de démarrage pour que les nœuds se découvrent mutuellement, via des adresses IP privées ou publiques.

Soit dit en passant, rsync et Unison ne sont pas le bon outil, s'ils doivent distribuer les modifications à mettre en cache très fréquemment. Dans ce cas, vous devriez considérer un système de fichiers vraiment distribué.

— Marco Solieri
source

0

Peut-être DRBD (périphérique bloc distribué)?

— MSpike
source

1

Merci pour votre réponse, mais elle manque de substance. DRBD n'est pas si connu qu'il ne nécessite pas au moins un lien. Mais vraiment, vous devriez donner plus d'informations: pourquoi DRBD convient-il? Comment cela fonctionnerait-il? Surtout si l'on considère que Kevin pensait que Gluster était exagéré: pourquoi DRBD ne le serait-il pas?

— Gilles 'SO- arrête d'être méchant'

Je viens de réaliser que vous cherchez une découverte automatique des pairs, donc celle-ci ne vous convient pas. DRBD est un périphérique de bloc sur votre matériel réel ou sur le dessus d'un certain volume, et qu'il les synchronise sur le réseau.

— MSpike