Dans une entreprise pour laquelle je travaille, nous avons une telle chose appelée "listes de lecture" qui sont de petits fichiers ~ 100-300 octets chacun. Il y en a environ un million. Environ 100 000 d'entre eux sont changés toutes les heures. Ces listes de lecture doivent être téléchargées sur 10 autres serveurs distants sur différents continents toutes les heures et cela doit se produire rapidement en moins de 2 minutes, idéalement. Il est très important que les fichiers supprimés sur le maître soient également supprimés sur toutes les répliques. Nous utilisons actuellement Linux pour notre infrastructure.
Je pensais à essayer rsync avec l'option -W pour copier des fichiers entiers sans comparer le contenu. Je ne l'ai pas encore essayé mais peut-être que les gens qui ont plus d'expérience avec rsync pourraient me dire si c'est une option viable?
Quelles autres options méritent d'être envisagées?
Mise à jour: j'ai choisi l'option lsyncd comme réponse mais uniquement parce qu'elle était la plus populaire. D'autres alternatives suggérées sont également valables à leur manière.