Comment mettre en cache ou autrement accélérer les résumés `du`?

Nous avons un grand système de fichiers sur lequel un durésumé complet (utilisation du disque) prend plus de deux minutes. Je voudrais trouver un moyen d'accélérer un résumé d'utilisation du disque pour des répertoires arbitraires sur ce système de fichiers.

Pour les petites branches, j'ai remarqué que les durésultats semblent être mis en cache d'une manière ou d'une autre, car les demandes répétées sont beaucoup plus rapides, mais sur les grandes branches, l'accélération devient négligeable.

Existe-t-il un moyen simple d'accélérer duou de mettre en cache de manière plus agressive les résultats pour les branches qui n'ont pas été modifiées depuis la recherche précédente?

Ou existe-t-il une autre commande qui peut fournir des résumés d'utilisation du disque plus rapidement?

Ce que vous voyez lorsque vous réexécutez une commande du est l'effet de la mise en mémoire tampon du disque. Une fois que vous avez lu un bloc, son tampon de disque est conservé dans le cache de tampon jusqu'à ce que ce bloc soit nécessaire. Pour du, vous devez lire le répertoire et l'inode de chaque fichier du répertoire. Les résultats du ne sont pas mis en cache dans ce cas, mais peuvent être dérivés avec beaucoup moins d'E / S disque.

Bien qu'il soit possible de forcer le système à mettre en cache ces informations, les performances globales en souffriraient car l'espace tampon requis ne serait pas disponible pour les fichiers auxquels vous accédez activement.

Le répertoire lui-même n'a aucune idée de la taille d'un fichier, il faut donc accéder à l'inode de chaque fichier. Pour maintenir la valeur mise en cache à jour chaque fois qu'un fichier change de taille, la valeur mise en cache doit être mise à jour. Comme un fichier peut être répertorié dans 0 ou plusieurs répertoires, cela nécessiterait que chaque inode de fichier sache dans quels répertoires il est répertorié. Cela compliquerait considérablement la structure de l'inode et réduirait les performances d'E / S. De plus, comme du vous permet d'obtenir des résultats en supposant différentes tailles de bloc, les données requises dans le cache devraient augmenter ou diminuer la valeur mise en cache pour chaque taille de bloc possible, ce qui ralentit encore les performances.

Si vous pouvez faire en sorte que les différentes hiérarchies de fichiers appartiennent à différents groupes, vous pouvez configurer des quotas de disque . Ne donnez pas de limite supérieure (ou ne lui donnez pas la taille du disque) sauf si vous en voulez une. Vous serez toujours en mesure de dire instantanément la quantité de son quota (effectivement infini) que le groupe utilise.

Cela nécessite que votre système de fichiers prenne en charge les quotas par groupe. Ext de Linux [234] et zfs de Solaris / * BSD / Linux le font. Ce serait bien pour votre cas d'utilisation si les quotas de groupe prenaient en compte les ACL, mais je ne pense pas qu'ils le fassent.

L'utilisation courante de dupeut être considérablement accélérée en utilisant ncdu.

ncdu - NCurses Disk Usage

effectue le du, met en cache les résultats et les affiche dans une belle interface de ligne de commande, quelque peu comparable à du -hc -d 1 | sort -h. L'indexation initiale prend autant de temps du, mais la recherche du véritable «coupable» qui remplit un espace précieux est accélérée, car tous les sous-répertoires disposent des informations du cache initialement disponibles.

Si nécessaire, les sous-répertoires peuvent être actualisés en appuyant sur [r] et les fichiers / dossiers peuvent être supprimés en appuyant sur [d], qui mettent à jour les statistiques de tous les répertoires parents. La suppression demande une confirmation.

Si nécessaire, une accélération supplémentaire peut être obtenue en mettant ncdu -1xo- / | gzip >export.gzen cache dans un cronjob et en y accédant plus tard zcat export.gz | ncdu -f-, mais donne évidemment des informations plus obsolètes.

Je préfère utiliser le agesu

Agedu est un logiciel qui tente de trouver des fichiers anciens et utilisés de manière irrégulière en supposant que ces fichiers ne seront probablement pas recherchés. (Par exemple, les téléchargements qui n'ont été consultés qu'une seule fois.)

Il effectue essentiellement le même type d'analyse de disque que du, mais il enregistre également les derniers accès de tout ce qu'il analyse. Ensuite, il construit un index qui lui permet de générer efficacement des rapports donnant un résumé des résultats pour chaque sous-répertoire, puis il produit ces rapports à la demande.

Comme mentionné par SHW, en agedueffet créé un index. J'ai pensé partager une autre façon de créer un index, après avoir lu locatedb. Vous pouvez créer votre propre version d'une locatedbde dusortie:

du | awk '{print $2,$1}' | /usr/lib/locate/frcode > du.locatedb

awkréorganise la sortie du pour avoir les noms de fichiers en premier, afin que cela frcodefonctionne correctement. Utilisez ensuite locateavec cette base de données pour signaler rapidement l'utilisation du disque:

locate --database=du.locatedb pingus

Vous pouvez l'étendre en fonction de vos besoins. Je pense que c'est une bonne utilisation de locatedb.

duc

(voir https://duc.zevv.nl ) pourrait être ce que vous recherchez.

Duc stocke l'utilisation du disque dans une base de données optimisée, résultant en une interface utilisateur rapide. Aucun temps d'attente une fois l'index terminé.

La mise à jour de l'index est très rapide pour moi (moins de 10 secondes pour environ 950k fichiers dans 121k répertoires, 2,8 To). Possède également une interface graphique et une interface utilisateur ncurses.

Utilisation par exemple:

duc index /usr
duc ui /usr

Depuis le site Web:

Duc est conçu pour s'adapter à d'énormes systèmes de fichiers: il indexera et affichera sans problème des centaines de millions de fichiers sur des pétaoctets de stockage.

J'ai un cronjob configuré pour exécuter updatedb toutes les 10 minutes. Garde tous les tampons du système de fichiers agréables et frais. Autant utiliser cette RAM bon marché pour quelque chose de bien. Utilisez slabtop voir «avant» et «après».

Si vous avez seulement besoin de connaître la taille du répertoire, vous pouvez l'accélérer beaucoup en évitant simplement d'écrire les informations à l'écran. Puisque le total général est la dernière ligne de la ducommande, vous pouvez simplement le diriger vers tail.

du -hc | tail -n 1

Une structure de répertoire de 2 Go prend plus d'une seconde pour la liste complète, mais moins d'un cinquième de celle-ci avec ce formulaire.