Comment obtenir des instantanés ou des versions de système de fichiers transparents et efficaces sur ext3 / 4?

J'ai longtemps pensé à la gestion des versions des systèmes de fichiers. C'est une fonctionnalité qui tue et j'ai regardé Wayback, ext3cow, zfs, des solutions de fusibles ou simplement des superpositions cvs / svn / git.

Je considère ext3cow comme le modèle pour mes besoins. Transparent, efficace, mais je peux me passer de la ls abc@timestampfonction supplémentaire . Tant que j'obtiens une version automatisée et transparente de mes fichiers.

Il peut être instantané ou basé sur des instantanés à des intervalles de 10 s, 30 s, 1 m, 5 m, 15 m, etc. de 100 m à 1 Go.

ZFS n'est pas vraiment une option car je suis sur Linux (et je préférerais ne pas l'utiliser via Fuse car j'ai déjà une configuration ext3 que je veux version, pas quelque chose de nouveau).

Quelles solutions existe-t-il?

Si vous encapsulez vos systèmes de fichiers à l'aide de LVM, vous pouvez créer un volume d'instantané à l'aide de la couche de volume logique sous-jacente. C'est un processus assez simple et étonnamment efficace pour les choses «instantanées» standard, telles que la sauvegarde et l'annulation des rm -froopsies.

Après 8 ans de recherche, j'ai trouvé le SVNFS de Marco R. Gazzetta (qui est différent d'un projet plus ancien du même nom par John Madden [dont on fait des choses différentes]). Ce SVNFS utilise svn de manière transparente dans les opérations r / w:

Au lieu de créer un système de fichiers qui fait son propre versioning, j'ai utilisé un outil de versioning existant, subversion, et rendu son utilisation transparente. L'avantage est que ce système de fichiers ne vous oblige pas à apprendre un nouvel outil, si vous connaissez la subversion

Il est écrit en Python et utilise FUSE:

Vous démarrez maintenant le système de fichiers de version en appelant le script joint:

python svnfs.py -o svnroot=/home/marco/svnfiles /home/marco/myfiles

Une fois que tout va bien, vous devriez pouvoir obtenir une liste des deux répertoires et voir que le contenu est le même.

Maintenant, si vous créez (presque) n'importe quel fichier dans l'un ou l'autre répertoire, il s'affichera également de l'autre côté de la clôture. La grande différence est que si vous créez un fichier dans le répertoire myfiles, il sera automatiquement placé sous contrôle de version (l'inverse n'est pas vrai).

Dans l'exemple, SVNFS utilise un répertoire séparé pour le dépôt. Bien que je ne l'ai pas testé. Pour mes besoins, j'aimerais avoir un référentiel directement dans mon répertoire de travail.

J'ai également trouvé une référence aux capacités de versioning de Reiser4 il y a 4 ans:

Voir Reiser 4. Les fichiers sont des répertoires.

par exemple: diff -u main.C main.C/r/123

Ou pour accéder aux propriétés

cat main.C/p/svn-eolstyle

echo "foobar" > main.C/p/my-property 

Il semble qu'il serait préférable de suivre ce modèle, car un système de fichiers majeur suit déjà cette voie.

-Paul Querna

Mais je ne l'ai pas vérifié aussi.

Il y a deux ans, je suis allé chercher plus loin, j'ai trouvé le projet FiST pour générer des systèmes de fichiers empilables et j'ai contacté le prof. Erez Zadok de l' Université de Stony Brook, qui était conseiller / mentor pour le projet appelé versionfs il y a longtemps. Citant:

http://www.fsl.cs.sunysb.edu/docs/versionfs-fast04/

http://www.fsl.cs.sunysb.edu/docs/versionfs-msthesis/versionfs.pdf

permet aux utilisateurs de gérer leurs propres versions facilement et efficacement. Versionfs fournit cette fonctionnalité avec pas plus de 4% de surcharge pour les charges de travail typiques de type utilisateur. Versionfs permet aux utilisateurs de sélectionner à la fois quelles versions sont conservées et comment elles sont stockées via des politiques de rétention et des politiques de stockage, respectivement. Les utilisateurs peuvent sélectionner le compromis entre espace et performances qui répond le mieux à leurs besoins individuels: copies complètes, copies compressées ou deltas de bloc. Bien que les utilisateurs puissent contrôler leurs versions, l'administrateur peut appliquer des valeurs minimales et maximales et fournir aux utilisateurs des valeurs par défaut raisonnables.

De plus, grâce à l'utilisation de libversionfs, les applications non modifiées peuvent examiner, manipuler et récupérer des versions. Les utilisateurs peuvent simplement exécuter des outils familiers pour accéder aux versions de fichiers précédentes, plutôt que d'exiger des utilisateurs qu'ils apprennent des commandes distinctes, ou demander à l'administrateur système de remonter un système de fichiers. Sans libversionfs, les versions précédentes sont complètement cachées aux utilisateurs.

Enfin, Versionfs va au-delà de la simple copie sur écriture utilisée par les systèmes précédents: nous implémentons la copie sur changement. Bien qu'au départ, nous pensions que la comparaison entre les anciennes et les nouvelles pages serait trop coûteuse, nous avons constaté que l'augmentation du temps système était plus que compensée par la réduction des E / S et du temps CPU associés à l'écriture de blocs inchangés. Lorsque des politiques de stockage plus coûteuses sont utilisées (par exemple, la compression), la copie sur modification est encore plus utile.

Cela m'a semblé très intéressant, mais contacter les gars qui ont travaillé sur le projet a révélé que le code source n'est pas connu. Le professeur lui-même a déclaré par courrier:

Le code de Versionfs est maintenant très ancien et ne fonctionnait que dans le noyau 2.4. Si vous voulez toujours un versioning empilable f / s, alors il faudrait l'écrire à partir de zéro - éventuellement basé sur wrapfs (voir wrapfs.filesystems.org/).

Il n'y a donc pas de projet de travail ici bien que le concept de systèmes de fichiers empilables me semble très agréable. Quelqu'un souhaite-t-il démarrer un projet basé sur des enveloppes , informez-moi s'il vous plaît :)

Vous pouvez vérifier les gitfs . C'est un système de fichiers FUSE basé sur git, assez stable et super facile à utiliser.

Fondamentalement, c'est une superposition sur git. Chaque fois que vous mettez à jour un fichier ou un répertoire, il crée une validation avec ce changement (sait que les validations sont regroupées pour ne pas se retrouver avec 100 validations lorsque vous décompressez une archive). Sait également synchroniser votre télécommande et fusionner les conflits en utilisant la stratégie «toujours accepter le mien».

Lorsque vous le montez, il vous apporte deux répertoires: actuel et historique . ├── current │   ├── test1.md │   ├── test2.md │   ├── test3.md -> current/test2.md │   ├── test4.md │   └── test_directory └── history ├── 2014-11-23 │   ├── 20-00-21-d71d1579a7 │   │   └── testing.md │   └── 20-42-32-7d09611d83 │   ├── test2.md │   └── testing.md ├── 2014-12-08 │   ├── 16-38-30-6d6e71fe47 │   │   ├── test2.md │   │   └── test1.md

Plus d'informations peuvent être trouvées sur cette page .

bup semble prometteur.

Discussion plus ancienne à ce sujet ici: http://lwn.net/Articles/380983/

Essayez rsnapshot - je ne l'ai pas utilisé moi-même, mais je suis tombé dessus en regardant les systèmes de déduplication au niveau des fichiers @.

Jetez un œil à Hot Copy de R1Soft.

http://www.r1soft.com/tools/linux-hot-copy/

Il s'agit d'un module de noyau qui fournit des instantanés de copie sur écriture pour les systèmes standard sans utiliser LVM. Cela a assez bien fonctionné pour moi et je peux l'installer sans redémarrage.

Voir également: http://www.r1soft.com/tools/linux-hot-copy/hcp-tips/