Comment construire un réseau local rapide

Je travaille dans la production de films et j'ai besoin d'accéder très rapidement à de très gros fichiers de métrage brut. J'utilise actuellement des stations d'accueil eSATA 6 Gbps pour les disques durs internes, qui vont aussi vite que le disque ira.

Si je devais utiliser un serveur et me connecter à mes postes de travail via un réseau, quelle technologie (relativement abordable) me permettrait-elle de me rapprocher de la vitesse du lecteur ou de la dépasser?

Au début de 2017, à en juger par les informations facilement disponibles en ligne, il semble que les disques durs SATA les plus rapides atteignent environ 220 mégaoctets / s, soit 1,760 gigabits / s.

Donc, si vous essayez simplement de battre la vitesse d'un seul disque, et que vous êtes limité aux disques durs pour des considérations de coût par téraoctet pour des fichiers vidéo volumineux, alors 10 gigabits Ethernet suffisent.

En passant, notez que Thunderbolt Networking est également à 10 gigabits / s. Par conséquent, si vous avez déjà des ports Thunderbolt, vous pouvez expérimenter avec cela. Il pourrait éventuellement être supérieur à vos ports eSATA 3 de 6 gigabits, bien que je ne sois pas sûr à ce sujet car eSATA est très spécifique au stockage, alors que le stockage sur Ethernet entraîne une surcharge. Notez également que Thunderbolt est un bus de bureau; il n'atteint que quelques mètres, pas les 100 m qu'un Ethernet 10 Gigabit peut gérer. Ainsi, alors que Thunderbolt peut être intéressant pour expérimenter et prototyper pendant que vous pesez vos options, ce n'est probablement pas la bonne solution à long terme pour vous, à moins que vous ne vouliez garder tous vos postes de travail et disques connectés dos à dos autour d'une grande table.

C'était donc pour les disques durs simples. Mais si vous mettez ces disques en RAID ensemble pour que chaque lecture ou écriture soit répartie sur plusieurs lecteurs, vous obtiendrez des performances bien meilleures que celles d'un lecteur unique. En outre, en fonction de votre budget, vous pouvez installer des disques SSD PCIe / M.2 NVME sur un PC en tant que serveur / NAS, et obtenir des performances de stockage extrêmement rapides (environ 3,4 gigabits par seconde = 27 gigabits par seconde) par conduire.

Dans ce cas, vous voudrez peut-être envisager quelque chose de plus rapide que l'Ethernet 10 Gigabit, mais en regardant en ligne, il semble que les prix dépassent de manière spectaculaire les 10 Gigabit Ethernet. Donc, vous voudrez peut-être envisager d'agréger des liens sur plusieurs liens 10Gigabits. J'ai également vu des anecdotes en ligne qui utilisaient des équipements réseau, tels que des objets InfiniBand 40Gbps d'occasion, peuvent être achetés sur eBay à très bas prix, si vous ne craignez pas les tracas liés à l'achat de matériel usagé sur eBay.

Si vous vous en tenez aux disques SATA, l’implémentation d’un réseau Ethernet 10 Gb / s et la création d’un RAID 10 de taille raisonnable sur le serveur vous permettront d’obtenir une augmentation de performances remarquable par rapport à un disque SATA unique. Ce sera un investissement rentable, car vous pouvez partager le serveur entre autant de stations de travail que vous le souhaitez et en ajouter par la suite en ajoutant des commutateurs. Vous devrez utiliser un câble Ethernet Cat-6, car le Cat-5E ne le coupera pas - n'oubliez pas d'ajouter cette dépense à vos calculs. Vous pouvez également ajouter des disques SSD en tant que cache pour accélérer encore davantage le système. Puisque vous travaillez avec des séquences vidéo, je suppose que vous avez besoin de vastes quantités d’espace de stockage, ce qui coûterait extrêmement cher à construire uniquement avec des disques SSD.

Vous pouvez acheter un serveur préfabriqué monté en rack auprès de Dell ou HP et utiliser la carte RAID matérielle, ou si vous êtes un spécialiste du matériel, vous pouvez acheter un châssis moins cher auprès de Supermicro et construire vous-même la machine de stockage, à l'aide du logiciel RAID soit Windows ou Linux. Le RAID matériel est souvent plus rapide lorsqu'un RAID1 est impliqué, car le logiciel doit écrire successivement sur chaque disque et attendre la fin de l'écriture avant de passer à l'opération suivante. une carte RAID peut généralement écrire sur les deux disques en parallèle et mettre en cache l'opération d'écriture, rendant ainsi le contrôle au système d'exploitation immédiatement. Notez cependant que, même si un RAID0 serait encore plus rapide, vous n’avez aucune redondance et une défaillance de lecteur entraîne la perte totale des données; n'utilisez jamais un RAID0 lorsque vous souhaitez conserver des données.

Au sommet de l'échelle, vous avez des réseaux de stockage (SAN), mais ceux-ci sont conçus pour permettre de nombreuses opérations en parallèle à partir d'un grand nombre de clients distincts; Un avantage de ceci est que le débit est très élevé pour un petit nombre de machines connectées, mais est probablement trop cher pour vos besoins et très coûteux. À l'extrémité inférieure, vous avez des périphériques de stockage réseau (NAS) que d'autres ont mentionnés, mais bien que beaucoup plus simple qu'un serveur complet, je ne les recommande pas, car un NAS est souvent une boîte noire; ils sont conçus pour être plug & play pour la plupart des utilisateurs et vous avez donc peu de contrôle sur le système d'exploitation. Je viens juste de renvoyer un petit NAS que j'ai acheté pour le bureau d'un client, car il est devenu instable après une journée d'utilisation.

Un autre avantage de la création d’un serveur réside dans le fait que vous concentrez toutes vos séquences au même endroit, ce qui permet de les sauvegarder de manière pratique et relativement facile. Ne négligez jamais votre stratégie de sauvegarde. Un jour, vous devrez en dépendre!

Rien ne vaut la flexibilité et la facilité de configuration de 10gbe, mais SAS est étonnamment configurable en réseau:

SAS fonctionne parfaitement pour un petit nombre de stations de travail (n <8) où les volumes n'ont pas besoin d'être inscriptibles à partir de plusieurs ordinateurs. Avec un Tyan JBOD (1 500 USD) et un HSI LSI (400 USD), nous obtenons des transferts durables de 3 400 Mo / s (27 Gbps) vers SSD. Le JBOD dispose d'un commutateur interne avec 3 liaisons montantes vers l'adaptateur de bus hôte, mais des commutateurs SAS sont disponibles pour des nombres de ports plus élevés.

Voici un test de vitesse de l’un de nos volumes:

En interne, nous utilisons cette solution avec Windows Server en cluster exécutant des espaces de stockage distribués aux clients avec 10gbe.

https://www.newegg.com/Product/Product.aspx?Item=N82E16820147593&cm_re=samsung_m.2- -20-147-593- -Product

Tout d’abord, M.2 SSD qui, avec la carte mère correcte, peut atteindre 2 Go / 4 Go / s, voire plus. RAID quelques-uns d'entre eux ensemble, et vos vitesses sont encore plus élevées.

La mise en réseau de plusieurs cartes réseau de 10 Go pourrait vous rapprocher des vitesses natives.

Plus que 10g, c'est beaucoup plus d'argent.

40 gigabits NIC https://www.serversupply.com/products/part_search/pid_lookup.asp?pid=263133&gclid=Cj0KEQiA9P7FBRCtoO33_LGUtPQBEiQAU_tBgIU2jZrJKf0kXFy96roOllcRkp7j-VoubG_n7xb0_pgaAnaT8P8HAQ

Utilisez une carte Ethernet fibre avec un commutateur fibre, idéalement en mode multimode ou en mode simple avec des pads. Si vous avez le budget nécessaire, vous pouvez obtenir 10 Gbps, si vous utilisez l'agrégation de liens avec une carte à fibre optique double port, vous pouvez obtenir 20 Gbps. Puisque l'expression "relativement abordable" change en fonction de votre budget, il serait utile de connaître le montant réel de vos dépenses.

Le moyen le moins coûteux serait d'utiliser l'agrégation de liens (IE run N câbles, généralement 2) au lieu d'un.

De cette façon, un lien 1 Go pas cher deviendra un lien 2 Go.

Évidemment, cela signifie que vous avez besoin d'au moins 4 ports pour un seul serveur client.