ZFS - Impact de l'échec du périphérique de cache L2ARC (Nexenta)

J'ai un serveur HP ProLiant DL380 G7 fonctionnant comme unité de stockage NexentaStor . Le serveur possède 36 Go de RAM, 2 contrôleurs LSI 9211-8i SAS (pas d'extensions SAS), 2 lecteurs système SAS, 12 lecteurs de données SAS, un disque de secours, un cache Intel X25-M L2ARC et un accélérateur DDRdrive PCI ZIL. Ce système sert NFS à plusieurs hôtes VMWare. J'ai également environ 90 à 100 Go de données dédupliquées sur la baie.

J'ai eu deux incidents où les performances ont soudainement chuté, laissant les invités VM et les consoles Nexenta SSH / Web inaccessibles et nécessitant un redémarrage complet de la baie pour restaurer les fonctionnalités. Dans les deux cas, c'est le SSD Intel X-25M L2ARC qui est tombé en panne ou a été "déconnecté". NexentaStor n'a pas réussi à m'alerter sur l'échec du cache, mais l'alerte ZFS FMA générale était visible sur l'écran de la console (ne répond pas).

entrez la description de l'image ici

La zpool statussortie a montré:

  pool: vol1
 state: ONLINE
 scan: scrub repaired 0 in 0h57m with 0 errors on Sat May 21 05:57:27 2011
config:

        NAME                        STATE     READ WRITE CKSUM
        vol1                        ONLINE       0     0     0
          mirror-0                  ONLINE       0     0     0
            c8t5000C50031B94409d0   ONLINE       0     0     0
            c9t5000C50031BBFE25d0   ONLINE       0     0     0
          mirror-1                  ONLINE       0     0     0
            c10t5000C50031D158FDd0  ONLINE       0     0     0
            c11t5000C5002C823045d0  ONLINE       0     0     0
          mirror-2                  ONLINE       0     0     0
            c12t5000C50031D91AD1d0  ONLINE       0     0     0
            c2t5000C50031D911B9d0   ONLINE       0     0     0
          mirror-3                  ONLINE       0     0     0
            c13t5000C50031BC293Dd0  ONLINE       0     0     0
            c14t5000C50031BD208Dd0  ONLINE       0     0     0
          mirror-4                  ONLINE       0     0     0
            c15t5000C50031BBF6F5d0  ONLINE       0     0     0
            c16t5000C50031D8CFADd0  ONLINE       0     0     0
          mirror-5                  ONLINE       0     0     0
            c17t5000C50031BC0E01d0  ONLINE       0     0     0
            c18t5000C5002C7CCE41d0  ONLINE       0     0     0
        logs
          c19t0d0                   ONLINE       0     0     0
        cache
          c6t5001517959467B45d0     FAULTED      2   542     0  too many errors
        spares
          c7t5000C50031CB43D9d0     AVAIL   

errors: No known data errors

Cela n'a déclenché aucune alerte depuis Nexenta.

J'avais l'impression qu'une panne de L2ARC n'aurait pas d'impact sur le système. Mais dans ce cas, c'était sûrement le coupable. Je n'ai jamais vu de recommandations pour RAID L2ARC. La suppression complète du mauvais SSD du serveur m'a remis en marche, mais je m'inquiète de l'impact de la panne de l'appareil (et peut-être du manque de notification de NexentaStor également).

Modifier - Quel est le SSD actuellement le meilleur choix pour les applications de cache L2ARC de nos jours?

— ewwhite
source

Est-il possible que votre port SSD ou SATA rencontre des problèmes matériels?

— tegbains

Il s'agit d'un fond de panier HP SAS. Je n'ai jamais vu un échec ou des problèmes dans de nombreux déploiements (Linux), mais je suis presque sûr que l'échec est fonction du SSD de classe grand public en place. Je peux accepter l'échec, mais l'impact sur les disques restants et le système de stockage global est le plus gros problème.

— ewwhite

En particulier, Pogo Linux (que je comprends être le plus grand intégrateur / revendeur de Nexenta) n'offre plus de périphériques Intel X25 en option pour L2ARC ou ZIL en raison de problèmes avec les versions ultérieures du firmware d'Intel.

— Skyhawk

Et le remplacement recommandé est (marque, modèle, prix)?

— ewwhite

Soit dit en passant, la nouvelle série Intel 320 peut être intéressante à essayer en tant que périphérique L2ARC ou même ZIL: elle est dotée d'un condensateur, et bien que l'endurance en écriture soit limitée (jusqu'à 60 téraoctets selon le modèle), le pourcentage d'usure restant peut être suivi à l'aide de l'attribut SMART E9 (commence à 100 et décompte jusqu'à 1). Je soupçonne que de nombreux utilisateurs de ZFS pourraient remplacer cet appareil aussi souvent que nécessaire pour empêcher E9 d'approcher 1, sans que les dépenses cumulées ne se rapprochent même du coût d'un lecteur SLC de taille comparable.

— Skyhawk

Réponses:

ZFS ne fait pas d'E / S disque, les pilotes de périphériques ci-dessous ZFS font d'E / S disque. Si le périphérique ne répond pas en temps opportun, ou comme dans ce cas, perturbe tous les autres périphériques sur le module d'extension, il n'est pas visible comme une défaillance de ZFS. Tout ce que ZFS voit est une E / S lente.

Il existe un bogue dans le micrologiciel Intel X-25M qui affecte leur comportement lors de fortes charges et peut provoquer des tempêtes de réinitialisation. Ce problème affecte tous les OS et ne peut pas être résolu au niveau de la couche OS. Veuillez contacter votre fournisseur de matériel pour des correctifs ou des corrections.

Si une lecture est censée être satisfaite par le L2ARC, alors la lecture y sera tentée. ZFS s'appuie ensuite sur les pilotes de couche inférieure pour signaler une erreur. Dans ce cas, le lecteur continue de se réinitialiser et de réessayer jusqu'à 5 minutes avant de déclarer que les E / S ont échoué, en fonction du pilote, du périphérique et des paramètres de délai par défaut. Ce n'est qu'après que les pilotes de couche inférieure ont déclaré que les E / S ont échoué que ZFS réessaiera sur le pool.

Les coureurs de vérification du volume et de vérification du disque de NexentaStor recherchent des messages d'erreur supplémentaires et vous alertent par e-mail et journalisation des pannes. Le runner de vérification de disque a été amélioré dans la version 3.1 pour vous avertir spécifiquement des conditions exposées par un firmware cassé dans les SSD.

Conclusion: votre matériel est défectueux et devra être réparé ou remplacé.

— Richard Elling
source

Je vous remercie. Je n'utiliserai donc plus l'Intel X-25. Je voudrais une recommandation testée pour un nouveau périphérique SSD L2ARC pour le remplacer.

— ewwhite

Connectez-vous le SSD X25-M au fond de panier? Il y a un problème connu avec Nexenta et l'accès au L2ARC via un fond de panier. Le mieux est de connecter le SSD directement dans un port SATA de la carte mère. Assurez-vous qu'il est également configuré pour utiliser AHCI.

Si vous exécutez quelque chose de critique sur ce serveur, je passerais à un SSD SLC (comme le X25-E ou un SSD STEC). Cela étant dit, vous serez probablement d'accord avec le X25-M si ce n'est pas le cas.

— zippy
source

Oui, je me connecte via une baie de lecteur normale. J'ai d'autres installations avec le même SSD Intel fonctionnant comme L2ARC (dans le matériel Sun et HP). Cependant, celui-ci m'a donné des ennuis. Mes recherches semblaient indiquer que L2ARC n'avait pas besoin d'être aussi robuste que le ZIL (d'où l'utilisation de solutions SLC et PCI basées sur ZIL et un lecteur grand public pour L2ARC). Cela a-t-il changé?

— ewwhite

J'essaierais de brancher le SSD directement sur la carte mère et de voir si cela fonctionne. Si vous avez un X25-M de rechange, vous pouvez essayer de remplacer celui actuel et voir si le SSD lui-même est mauvais. Sur le SSD SLC: cela dépend de votre niveau de risque. Si vous exécutez un logiciel sur un SLA qui ne peut jamais descendre et doit fonctionner rapidement, il peut être moins cher d'acheter un SSD haut de gamme.

— zippy

J'essaie de dire que l'Intel X25-M a été recommandé pour L2ARC dans la plupart des articles et discussions que j'ai vus en ligne. Si ce n'est plus le cas, quel est l'appareil préféré?

— ewwhite

@ewwhite: En théorie, une panne d'un périphérique L2ARC ne devrait pas perturber, car ZFS peut simplement se replier sur la lecture du disque (évidemment, les performances prendraient un coup). En pratique .. eh bien, il semble que vous ayez rencontré un bug de pilote ZFS ou scsi qui est déclenché par le comportement SSD.

— Tom Shaw

@ewwhite: Je devrais probablement vous donner quelques conseils plus pratiques. Si vous souhaitez générer un vidage sur incident système la prochaine fois que votre système se coince, suivez les instructions ici . Ce type de vidage peut être utile aux développeurs Illumos.

— Tom Shaw

Ed, il y en a plusieurs que vous pouvez utiliser, allant d'un prix relativement raisonnable à un sacré sacré. Je préfère déployer les SSD SAS dans tous les cas et j'ai très bien fait avec STEC et Pliant. Les deux offrent maintenant un lecteur MLC qui fonctionnera avec un périphérique L2ARC. L'offre SSD de Seagate qui n'est pas encore testée mais qui arrive bientôt est SLC SAS 2.0 et selon les rumeurs, elle n'est "pas chère". Restez à l'écoute....

-PB

— PauleyB
source