Options pour accéder et sauvegarder rapidement des millions de fichiers
Emprunter auprès de personnes ayant des problèmes similaires
Cela ressemble beaucoup à une sorte de problème plus facile auquel sont confrontés les serveurs de news USENET et les serveurs proxy de mise en cache: des centaines de millions de petits fichiers auxquels on accède de manière aléatoire. Vous voudrez peut-être leur donner un indice (sauf qu'ils ne doivent généralement jamais effectuer de sauvegardes).
http://devel.squid-cache.org/coss/coss-notes.txt
http://citeseer.ist.psu.edu/viewdoc/download;jsessionid=4074B50D266E72C69D6D35FEDCBBA83D?doi=10.1.1.31.4000&rep=rep1&type=pdf
De toute évidence, la nature cyclique du système de fichiers d'actualités cycliques n'est pas pertinente pour vous, mais le concept de niveau inférieur d'avoir plusieurs fichiers / périphériques de disque avec des images compressées et un index rapide des informations que l'utilisateur fournit pour rechercher les informations de localisation est tout à fait approprié.
Systèmes de fichiers dédiés
Bien sûr, ce ne sont que des concepts similaires à ce dont les gens parlaient avec la création d'un système de fichiers dans un fichier et son montage sur le bouclage, sauf que vous pouvez écrire votre propre code de système de fichiers. Bien sûr, puisque vous avez dit que votre système était principalement en lecture, vous pouvez en fait dédier une partition de disque (ou une partition lvm pour plus de flexibilité dans le dimensionnement) à cette seule fin. Lorsque vous souhaitez sauvegarder, montez le système de fichiers en lecture seule, puis faites une copie des bits de partition.
LVM
J'ai mentionné LVM ci-dessus comme étant utile pour permettre le dimensionnement dynamique d'une partition afin que vous n'ayez pas besoin de sauvegarder beaucoup d'espace vide. Mais, bien sûr, LVM a d'autres fonctionnalités qui pourraient être très applicables. Plus précisément, la fonctionnalité "instantané" qui vous permet de figer un système de fichiers à un moment donné. Tout accidentel rm -rf
ou autre ne perturberait pas l'instantané. Selon ce que vous essayez de faire, cela peut suffire à vos besoins de sauvegarde.
RAID-1
Je suis sûr que vous connaissez déjà le RAID et l'utilisez probablement déjà pour la fiabilité, mais le RAID-1 peut également être utilisé pour les sauvegardes, du moins si vous utilisez le RAID logiciel (vous pouvez l'utiliser avec le RAID matériel, mais en fait vous donne une fiabilité inférieure car il peut nécessiter le même modèle / contrôleur de révision pour lire). Le concept est que vous créez un groupe RAID-1 avec un disque de plus que ce dont vous avez réellement besoin pour vos besoins de fiabilité normaux (par exemple un troisième disque si vous utilisez le logiciel RAID-1 avec deux disques, ou peut-être un gros disque et un matériel) RAID5 avec des disques plus petits avec un logiciel RAID-1 au-dessus du matériel RAID-5). Quand vient le temps de faire une sauvegarde, installez un disque, demandez à mdadm d'ajouter ce disque au groupe de raid, attendez qu'il indique l'intégralité, demandez éventuellement un gommage de vérification, puis retirez le disque. Bien sûr,