Quel est le moyen le plus sûr et le moins cher de stocker 10 téraoctets de données?

Je suis membre d'une société de production et nous nous préparons pour notre premier long métrage. Nous avons discuté des méthodes de stockage des données pour protéger l'intégralité de notre contenu d'origine (aussi longtemps que possible). Bien que nous comprenions que les données ne sont jamais 100% sécurisées, nous aimerions trouver la solution la plus sûre pour nous.

Nous avons considéré:

• NAS de 16 To pour le stockage sur site

• 4-5 disques durs de 2 To (bon marché, mais pas redondants), copiez les séquences originales sur les disques puis scellez-les dans un sac sans électricité statique

• Gravez des données sur des disques Blu-Ray (longs et coûteux: 200 disques == 5000 $)

• Lecteur (s) de bande?

Je connais le moins les lecteurs de bande, sauf qu'ils sont plus fiables que les disques. Toute expérience / connaissance de cette quantité de données est grandement appréciée.

Cela suppose que vous optez pour une archive plutôt qu'une sauvegarde régulière ou des données en direct.

Optez pour un ensemble de disques durs SATA (1 ou 2 To), plus quelques extras. Copiez vos données sur les disques. Utilisez QuickPar (ou un archiveur qui prend en charge les volumes de parité) pour créer des fichiers de parité supplémentaires. Répartissez les fichiers de parité entre vos disques durs.

Les informations de parité vous permettront de reconstruire des fichiers s'il vous reste suffisamment de fichiers de parité. Donc, si un disque meurt mais que d'autres disques avec des informations de parité fonctionnent toujours, vous pouvez utiliser les fichiers de parité pour reconstruire l'original.

Pour plus de redondance, faites-le deux fois et stockez-le dans des emplacements distincts.

Si vous êtes vraiment paranoïaque, stockez également un contrôleur PCI et PCI Express vers SATA sur chaque site!

Edit: Heck, si la paranoïa est ce dont il s'agit, allez tout le porc et stockez un PC avec Gigabit Ethernet sur chaque site capable de lire les disques!

Les lecteurs LTO4 que nous utilisons peuvent entasser 800 Go par bande. L'inconvénient est le coût des disques eux-mêmes. Si vous rechignez à 5 000 $ pour les disques Blu-Ray, vous n'aimerez pas le coût de LTO4. D'un autre côté, les cartages eux-mêmes sont assez bon marché sur une base par Go, vous pouvez donc garder beaucoup de copies. Ces bandes ont une bonne durée de vie, mais vous devez prévoir de les déplacer vers de nouveaux supports lorsque vous remplacez votre lecteur de bande. D'après la façon dont vous décrivez comment vous allez utiliser ce stockage, je ne pense pas que la bande soit un bon choix. Sauf si cela va être une solution de sauvegarde au lieu d'une solution d'archivage . Différents problèmes.

Vous voudrez peut-être envisager une sorte de fournisseur de sauvegarde basé sur le cloud pour cela, si votre changement net quotidien est suffisamment petit. Bien sûr, cela dépend de la force de votre connexion Internet, et sa restauration pourrait être tout aussi pénible. Ces services sont assez nouveaux, donc on ne sait pas comment ils gèrent le problème de faillite de vos données; qu'arrive-t-il s'ils font faillite?

Le stockage sur disque local est définitivement un chemin à parcourir. Un boîtier de disque avec des disques facilement échangeables est probablement votre meilleur choix compte tenu de vos contraintes de coût. Si vous pouvez vivre avec ces données hors ligne, alors allez-y. Les disques sont bon marché et les boîtiers de disques sont moins chers que les lecteurs de bande. Moins de pièces mobiles.

Je suppose que vous en avez besoin pour l'archivage, et non pour une utilisation active dans un rôle vidéo. Si c'est le cas, c'est un problème de stockage différent.

Dans votre recherche NAS, avez-vous examiné les périphériques de stockage autogérés DroboPro ou DroboElite ?

Considérez ce que coûterait si vous perdiez une partie ou la totalité de vos images et votre budget en conséquence;)

Avez-vous envisagé des services hébergés? Je ne sais pas comment le prix pèse, mais vous voudrez peut-être envisager un service d'hébergement qui vend du stockage en vrac. Peut-être AWS ?

Huit à dix disques durs de 2 To; faire deux ensembles. Conserver comme déjà mentionné, séparément ...

Je resterais loin de la bande car elle est beaucoup plus sensible aux conditions dans lesquelles elle est stockée que les disques; De plus, dans cinq ans, les chances sont bonnes, vous pourrez toujours brancher un lecteur SATA sur quelque chose, mais vous ne pourrez peut-être pas accéder à un lecteur de bande capable de lire vos bandes.

Les optiques seraient les meilleures en termes de stabilité à long terme, mais, comme vous le mentionnez, les coûts et la logistique les rendent quelque peu impraticables.

Je recommanderais d'avoir une sorte de NAS / RAID pour les fichiers en direct avec lesquels vous travaillez fréquemment. Si vous allez utiliser des disques de grande capacité, vous voudrez peut-être utiliser un RAID-6 ou similaire qui, comme un disque de secours RAID-5 +, vous permet de faire échouer deux disques avant que votre RAID ne soit dégradé, mais contrairement à la configuration de secours votre 2e disque supplémentaire aura également la parité dessus afin que le raid n'ait pas besoin de reconstruire la parité en réserve en cas d'échec. Avec des disques de plus en plus gros, il y a plus de chances de faire échouer un disque pendant une reconstruction, donc avoir autant de parité en direct que possible est bon.

En plus de cela, je recommanderais d'utiliser des disques durs comme des lecteurs de bande. De nos jours, on peut même acheter des boîtiers de disque dur (également ceux-ci ) qui vous permettent de classer les disques pour l'archivage. Vous pouvez sauvegarder des fichiers sur le RAID, puis effectuer des copies d'archivage supplémentaires sur les disques à classer.

Certaines maisons de production vidéo comme le Pixel Corps utilisent des configurations similaires.

En outre, je recommande fortement de stocker des fichiers dans plusieurs emplacements (pas sous le même toit). De plus, suivez définitivement le mantra de "si ce n'est pas écrit à au moins deux endroits, vous ne l'avez pas encore enregistré". De plus, RAID ne compte pas comme une sauvegarde en soi.

Je vais supposer que cela est en grande partie pour le stockage de type de sauvegarde hors ligne: facilement créé et restauré, mais peu utilisé dans les opérations quotidiennes.

Les disques de 2 To peuvent être achetés pour environ 140 $ de nos jours. Donc, pour 10 To, 5 disques, 700 $. Comptez environ 400 $ pour construire un serveur à faible puissance autour de celui qui exécute Debian ou Ubuntu ou une autre saveur Linux. Si vous obtenez un système avec plusieurs cartes réseau, vous pouvez créer une liaisonles interfaces réseau ensemble (potentiellement, je crois que vous avez besoin d'un commutateur géré qui prend en charge la jonction) augmentent la bande passante disponible du serveur et protègent contre les pannes de carte réseau. Vous pouvez ensuite exposer le stockage via samba, NFS ou une autre méthode aux postes de travail qui doivent l'utiliser. Pour ce volume de données volumineux, vous aurez probablement besoin d'une sorte de redondance afin que lorsque (pas si) l'un de ces disques le mord, vous ne serez pas sans vos données. RAID5 n'est pas une bonne idée ici, pour plusieurs raisons, mais RAID10 fait l'affaire. Comme le serveur exécute Linux, vous pouvez utiliser mdadm pour gérer la matrice RAID. Vous devrez doubler le nombre de périphériques physiques pour ce faire, vous disposez donc de 10 disques. Coût total de ce serveur de stockage:

Si vous aimez vraiment vos données (si ce sont des données de production vraiment importantes, vous devriez!), Vous pouvez créer un serveur en double et sauvegarder la sauvegarde. Vous pouvez le faire avec une crontab rsync, qui pourrait être horriblement lente, une solution de netcat / tar pipe , qui serait plus rapide pour être sûr, ou configurer les périphériques de raid comme base d'un périphérique drbd . Avec le stockage dupliqué automatiquement sur les deux machines, vous avez (essentiellement) la garantie d'avoir des sauvegardes redondantes des données. Vous pouvez devenir encore plus sophistiqué et mettre en place un système de basculement de pulsation pour garantir la disponibilité de votre volume de données.

Stockage en réseau Buffalo TeraStation III 8 To - 1 085,56 £

lien amazon.fr

J'ai une version terastation de 1 To que j'ai mise à niveau vers 4 To, cela fonctionne parfaitement en RAID5 pour moi. Vous pouvez envisager d'acheter une version plus petite et de la mettre à niveau vous-même pour économiser de l'argent - ou acheter plusieurs tastastations, etc.

Je ne connais pas grand-chose aux lecteurs de bande ni à la sémantique du stockage des données sur bande, donc je ne peux pas vous y aider. Étant donné le coût prohibitif de l'utilisation de bluray comme sauvegarde à grande échelle, je m'en tiendrai à un NAS ou à des disques individuels.

Une chose à laquelle se méfier avec NAS / Raid est que, alors qu'ils peuvent stocker une quantité considérable d'informations sur un seul disque virtuel ... vous devez garder tous les disques ensemble, et le RAID n'est généralement pas très efficace à long terme " sauvegarde ". Vous courez le risque de perdre plus d'un lecteur, de perdre le périphérique NAS lui-même (et il y a rarement des garanties qu'un périphérique de remplacement sera capable de lire les données des lecteurs, même s'il s'agit d'un périphérique "identique".)

Compte tenu de la radicalité des disques durs et de leur stabilité générale, je choisirais des disques individuels. Vous pouvez facilement récupérer 10 disques de 2 To pour un petit coût (peut-être de 1 200 $ à 1 500 $) et générer deux ensembles de sauvegardes. Vous obtenez à la fois une sauvegarde hors ligne et redondante de vos données, sans les risques liés au RAID ou à un périphérique NAS. Les disques individuels offrent également une plus grande gamme de compatibilité, car il est peu probable que SATA aille bientôt.

Si vous voulez vraiment vous assurer de ne pas le perdre, vous voulez au moins deux options d'archivage. Probablement des bandes et des disques durs. Faire une seule copie sans une certaine forme de redondance n'est qu'une autre façon de lancer les dés de données.

Selon les besoins de stockage, si vous envisagez de sauvegarder des postes de travail individuels, envisagez une station de stockage externe Thermaltake BlacX pour les disques SATA amovibles. Ils prennent en charge les connexions USB et SATA externes. Déposez simplement le lecteur dans le dock, copiez les données et vous avez une sauvegarde.

J'ai des quais à la maison et au travail. Je fais des sauvegardes à chaque emplacement et les amène à l'autre emplacement pour le stockage hors site. J'ai également un disque de travail pour déplacer le travail en cours entre les emplacements.

Les quais coûtent environ 60,00 $ chacun et vous pouvez obtenir des disques de 1,5 To pour moins de 100 $.

Josh, vous n'avez pas précisé s'il s'agit de données de travail ou d'archives. Si les données sont précieuses, il n'y a pas de réelle différence entre la sauvegarde et l'archivage, uniquement là où vous les stockez, c'est-à-dire sur votre système de travail ou votre système d'archivage. Encore une fois, si les données sont précieuses, votre système de travail et votre système d'archivage seront identiques si vous souhaitez protéger les données et respecter les règles de sauvegarde.

L'archivage s'applique davantage au type de média que ce qui y est stocké. L'archivage implique que les données ne changeront jamais, c'est-à-dire écrites une fois et lues plusieurs fois, communément appelées WORM. Les lecteurs WORM sont généralement des bandes mais des éléments tels que RDX Quikstor et RDX Quikstation (station RDX à 8 baies) ont l'option WORM pour des lecteurs spécifiques afin qu'ils ne puissent pas être écrasés. Je soupçonne que le RDX Quikstation peut convenir à votre archivage.

N'oubliez pas qu'un système d'archives fait partie d'un plan de sauvegarde. Vous ne devriez jamais envisager d'avoir une seule copie des données.

Certaines règles de sauvegarde sont:

3-2-1 Règle.

Trois (3) copies de vos données. Une (1) source et deux (2) sauvegardes sur deux supports différents, dont un (1) est maintenu hors site.

Exemples: serveur sur site sauvegardé sur NAS sur site et sauvegardé hors site sur bande ou RDX. Serveur sur site sauvegardé sur NAS sur site et NAS hors site sauvegardé. Serveur sur site sauvegardé sur NAS sur site et répliqué en temps réel sur NAS hors site. Votre sauvegarde sur site doit être sur disque.

Médias:

Votre sauvegarde hors site dépend du temps. La sauvegarde hors site sur un support portable entraîne automatiquement des retards. c'est-à-dire que la sauvegarde de nuit de lundi est effectuée hors site mardi soir. Si vous avez une catastrophe avant la fermeture des bureaux mardi, vous en perdez deux jours. Le montant que vous pouvez vous permettre de perdre dépend entièrement de votre entreprise et de la fréquence des changements de données.

Stockage média:

Respectez pleinement les règles de stockage multimédia. Certaines bandes nécessitent que vous les stockiez verticalement entre des plages de température et d'humidité étroites, loin des sources de champs magnétiques. La suppression d'une bande réduit sa fiabilité. L'envoi de cassettes à la maison avec la fille de bureau dans son sac à main à côté de son téléphone portable est une catastrophe qui attend. Les bandes nécessitent également jusqu'à deux heures dans l'environnement de sauvegarde avant d'être insérées dans le lecteur, égalisent la température et l'humidité entre la bande et le lecteur de bande. Les bandes doivent également être jetées et remplacées aux intervalles de temps / écriture requis.

Personnellement, pour ces raisons, je n'aime pas les cassettes. Le coût n'est pas faible, ni le coût de la gestion de quelqu'un. Investir dans la bande mais ne pas suivre les règles est inutile. Vous pouvez le faire à bon marché mais la fiabilité baisse.

Éliminez les points de défaillance uniques:

Ne répartissez pas les données de sauvegarde sur plusieurs supports. Par exemple, la sauvegarde complète sur une bande et les différences entre 6 autres bandes ont multiplié 7 fois le risque de perte de données. Si j'ai une sauvegarde, j'aime qu'elle contienne tous les fichiers nécessaires pour restaurer les données. Mieux vaut avoir 7 sauvegardes complètes.

D'une certaine manière, le raid compte comme plusieurs médias. Où que vous utilisiez le RAID, assurez-vous qu'il dispose d'un basculement automatique à chaud. Avoir au moins un disque de rechange dans une baie de disque en tant que disque de remplacement à chaud dédié, et les systèmes remplaceront automatiquement le disque mort par un disque de rechange à chaud. Si vous avez des téraoctets de données, pensez à avoir au moins deux disques de rechange remplaçables à chaud dans votre RAID.

Observer les distances hors site:

Votre distance hors site est importante. Il ne sert à rien d'avoir une sauvegarde hors site si elle protège uniquement contre la perte de données dans certaines circonstances. Quiconque a vécu un tremblement de terre, une inondation, une tornade, un ouragan, etc. vous le dira. Les récents tremblements de terre dans notre ville ont vu beaucoup de grandes entreprises patauger sans sauvegardes hors site (bandes toujours à côté des serveurs) ou sauvegardes illisibles. Généralement, 60 miles / 90 km est une bonne distance.

Je ne connais pas votre budget, donc donner des conseils est difficile. Le budget a un impact sur le choix de la sauvegarde et du stockage. J'ai travaillé pour un producteur de films fournissant un support informatique, j'ai donc une certaine compréhension des parties mobiles de votre industrie. Il y a beaucoup de questions sans réponse:

Quels serveurs possédez-vous, le cas échéant? Combien d'employés avez-vous? Est-ce votre seul et unique long métrage? Quelle est la taille du plus grand fichier ou ensemble de fichiers? Quel est le temps entre ce film et le suivant? Par exemple, si vous produisez à plein temps, vous disposez des liquidités nécessaires pour couvrir les dépenses mensuelles telles que la sauvegarde à distance via la fibre. Quelle sorte de cash-flow le film générera-t-il? Quelles exigences avez-vous pour aller de l'avant? Ces questions et d'autres définissent vos exigences, votre méthodologie et votre budget.

Par exemple: si vous produisiez 3 longs métrages par an et des publicités mensuelles employant une douzaine de personnes, vous pourriez vous permettre d'avoir: des serveurs avec RAID sauvegardés sur RAID NAS sur place. Liaison fibre dédiée (pas si chère) avec liaison non contenue de 100 Mo (non limitée par le FAI) répliquée dans un centre de données à 60 m / 90 k. Les données d'archives importantes doivent être écrites sur bande ou RDX et stockées dans le centre de données ou le coffre-fort. Le budget est votre seul facteur déterminant quant au degré de redondance et de sauvegarde que vous pouvez vous permettre.

Ou si son budget est faible et que les revenus proviennent des ventes et que l'avenir est inconnu, vous envisagez peut-être de stocker des lecteurs TAPE, RDX ou USB (non recommandés) à la maison.

Les exigences actuelles et futures, les flux de trésorerie et le budget, mis en balance avec la perte de données sont vos facteurs déterminants. Je vous suggère d'employer un spécialiste de la sauvegarde expérimenté et / ou un analyste commercial pour effectuer le processus de stockage et de sauvegarde pour vous.