Suppression d'instantanés incroyablement lente

J'ai une boîte ESXi avec un stockage HP LeftHand exposé via iSCSI.

J'ai une machine virtuelle avec un disque de 1 To, dont 800 Go sont consommés. Le disque est fourni de manière épaisse sur le stockage LeftHand.

Un instantané était ouvert sur la machine virtuelle (afin que Veeam Backup and Recovery puisse faire son travail) et était ouvert pendant environ 6 heures. Un disque delta d'environ 5 Go a été créé pendant cette période.

La suppression de l'instantané a maintenant pris plus de 5 heures et n'est toujours pas terminée. La baie de stockage ne signale pratiquement aucun IOPS sur cette baie (environ 600, ce qui est du bruit de fond), aucun débit (environ 8 Mo / s, ce qui - encore une fois - du bruit de fond), une profondeur de file d'attente moyenne de 9.

En d'autres termes, le processus de consolidation des instantanés ne semble pas lié aux E / S, je ne vois rien qui puisse ralentir la suppression des instantanés. Il est au travail, à en juger en regardant les fichiers delta.

Y a-t-il autre chose que je devrais regarder pour savoir pourquoi ce cliché (relativement petit) est si lent à être supprimé?

Selon la documentation VMWare , je regarde en ls -lh | grep -E "delta|flat|sesparse"ce moment et je vois deux fichiers delta qui changent:

-rw-------    1 root     root      194.0M Jun 15 01:28 EXAMPLE-000001-delta.vmdk
-rw-------    1 root     root      274.0M Jun 15 01:27 EXAMPLE-000002-delta.vmdk

Je déduis qu'un fichier d'instantané est en cours de consolidation tandis que l'autre recueille delta pendant le processus de consolidation. Ensuite, le nouveau est consolidé et un autre delta est créé au cours de ce processus.

Les tailles de fichiers sont en baisse à chaque itération (ainsi, la plupart des itérations), donc je suppose que finalement cette procédure de consolidation complète (je vais peut - être besoin de prendre la machine virtuelle hors du réseau pendant 30 minutes pour laisser cette finition sans générer aucune modification) .

Il faut environ 2 minutes pour cent mégas de delta pour se consolider. Cela ne s'est certainement jamais produit auparavant. La suppression d'instantanés sous une sauvegarde Veeam normale prend environ 40 minutes (donc certainement pas rapide, mais pas si lente).

Après 6 heures et 2 minutes, l'instantané est finalement supprimé. Cependant, j'aimerais toujours savoir s'il existe un moyen de résoudre normalement ce type de problème (en dehors des performances de stockage).

— Mark Henderson
source

Je ne peux pas m'empêcher de remarquer que 8Mbit / seconde est assez proche de la mise en réseau 10Mbit / sec moins des frais généraux. Y a-t-il une chance que ce soit un problème lié au réseau sur la liaison iSCSI? S'agit-il d'un seul lien, d'un seul hôte, l'hôte exécute-t-il sinon correctement pour des lectures / écritures prolongées? Pouvez-vous vérifier le port du commutateur pour les erreurs?

— TessellatingHeckler

@TessellatingHeckler Je viens de faire quelques tests et je peux toujours obtenir environ 1,5 Gbit / s séquentiel à partir du tableau, ce que j'attendrais de lui dans des circonstances normales. Hier soir, la suppression de l'instantané a pris trois minutes, ce qui est de loin le plus rapide que j'ai jamais vu (normalement, il est environ 10 fois plus long, mais il y avait un gros match de football ici la nuit dernière, donc je soupçonne que personne n'utilisait les systèmes après les heures lorsque les sauvegardes s'exécutent, d'où le petit delta et le petit temps de validation). Il peut donc le faire rapidement, juste qu'une fois, il ne l'a pas fait.

— Mark Henderson

Hmm. Avez-vous VMware Storage IO Control en cours d'exécution et la banque de données est-elle partagée avec d'autres machines virtuelles? Y a-t-il une chance qu'il atteigne une limite de limitation / soft là-bas, sans stresser l'hôte ou le matériel SAN?

— TessellatingHeckler

Version ESXi et vCenter?

— Nils

@Nils 5.5 pour les deux

— Mark Henderson

Je crois comprendre que la suppression des instantanés ESXI peut (et le fait généralement) prendre beaucoup de temps. Avant que l'instantané puisse être supprimé, les modifications de l'ancien instantané doivent être écrites dans l'instantané suivant dans l'ordre. On m'a appris à toujours supprimer les instantanés du plus ancien au plus récent pour aider ce processus à fonctionner aussi rapidement et efficacement que possible.

Naturellement, plus il y a de changements entre les instantanés, plus la fusion prendra de temps.

— Andrew Meyer
source

À droite, sauf 6 heures pour supprimer un instantané de 5 Go est absurde. Comme je l'ai mentionné, il faut normalement environ 40 minutes pour supprimer l'instantané, et je pense même que 40 minutes sont trop lentes. C'était le seul instantané sur cette machine virtuelle, et la suppression des instantanés a également changé dans les versions ultérieures d'ESXi en ce sens que l'ordre dans lequel elles sont supprimées n'a pas trop d'importance.

— Mark Henderson

J'ai déjà vu le comportement lent des instantanés avec peu d'E / S sur le stockage, mais je ne l'ai jamais attribué à une cause. J'ai toujours juste supposé que l'hyperviseur mâchait les deltas en mémoire. (Les machines en question utilisaient un stockage à connexion directe ou j'aurais peut-être également examiné des problèmes de SAN, mais je l'ai toujours attribué à de gros deltas ou à du code non optimisé dans le sous-système de capture instantanée de VMWare).

— voretaq7