Des solutions de stockage hiérarchisé automatiques maison avec Linux? (Mémoire -> SSD -> HDD -> stockage à distance)

Lié à cette question sur l'utilisation d'un SSD pour le système et d'un disque dur pour les données , sauf que j'aimerais que mon système le fasse automatiquement ...

Est-il possible d'avoir plusieurs couches de stockage et de pousser automatiquement des éléments entre eux, en utilisant de préférence des logiciels libres et open source?

Je connais des solutions de classe entreprise extrêmement coûteuses comme l' archivage automatique EMC SAN-> EMC Centera , mais je me demandais si ce type de stockage par étapes est possible de faire automatiquement.

Ce serait bien de pouvoir avoir plusieurs couches dans ceci: Mémoire-> SSD-> HDD-> HDD ou bande plus lente ou une autre solution d'archivage.

Y a-t-il des systèmes de fichiers qui peuvent le faire automatiquement? (ZFS, Btrfs, MARTEAU?)

Toutes les variantes Unix sont correctes, car je suis intéressé par la façon dont cela fonctionne et s'il est susceptible d'être portable sur Linux ou d'autres versions (BSD, etc.).

Eh bien, ZFS utilise une couche de stockage appelée Hybrid Storage Pool (HSP) :

1. Couche: mémoire
2. Couche: caches de lecture basés sur SSD (L2ARC) et caches d'écriture (journal d'intention séparé aka slog).
3. Couche: disques durs (bon marché)

Avec HSP, il est facile de bénéficier automatiquement des avantages des SSD par rapport à une solution uniquement sur disque dur. Un système utilisant HSP peut être à la fois plus rapide et moins cher que ce dernier. Voir ce lien pour de beaux exemples et plus de détails.

Je pense qu'il existe des plans concernant la gestion du stockage hiérarchique (HSM) pour ZFS (voir par exemple le projet OpenSolaris de migration automatique des données (ADM) ) mais je ne connais pas son état actuel.

Découvrez la solution basée sur LVM "lvmts" (LVM Tiered Storage) que ce type prépare:

https://bbs.archlinux.org/viewtopic.php?pid=1140640#p1140640

Plutôt cool.

TIER semble répondre à vos besoins Il s'agit d'un module de noyau Linux qui peut créer un stockage à plusieurs niveaux. Il semble apprendre par lui-même le motif et optimiser le placement dans le stockage

http://www.lessfs.com/wordpress/?p=776

Répondre à ma propre question avec quelque chose que je viens de trouver:

Je venais de mettre à jour le noyau et de regarder les nouvelles choses qui ont été ajoutées, et il y a maintenant une option 'CACHEFILES' qui permet de mettre en cache (généralement à distance) les systèmes de fichiers sur un système de fichiers local. Je suppose que je pourrais l'utiliser pour mettre en cache un mécanisme de stockage plus lent (HDD) à un mécanisme plus rapide (SSD), au moins pour un niveau de hiérarchie.

Quelques liens pertinents. YMMV.

http://code.google.com/p/fscops/ - "Online Hierarchical Storage Manager (OHSM) est la première tentative vers un gestionnaire de stockage de données open source au niveau de l'entreprise qui déplace automatiquement les données entre le stockage à coût élevé et à faible coût. médias.".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI sous Linux

http://jfs.sourceforge.net/ - JFS + DMAPI sous Linux

Les contrôleurs RAID offrent certaines de ces fonctionnalités.

"Exploite les SSD devant les volumes de disques durs pour créer des pools de cache de contrôleur haute capacité et hautes performances"

http://www.lsi.com/channel/products/storagesw/Pages/MegaRAIDCacheCadeSoftware2-0.aspx

Les instantanés LVM2 me viennent à l'esprit ... mais vous ne pouvez pas vraiment faire plus qu'un seul instantané.

SAM-QFS est le produit existant de Sun et était open source l'année dernière. Il s'agit de CDDL, vous ne pouvez donc que le porter directement sur * BSD.