Unix & Linux large-files

6

cat line X to line Y sur un gros fichier

Dire que j'ai un énorme fichier texte (> 2 Go) et je veux juste catles lignes Xà Y(par exemple , de 57.890.000 à 57.890.010). D'après ce que je comprends que je peux le faire par la tuyauterie headdans tailou vice - versa, à savoir head -A /path/to/file | tail -B …

132 tail cat large-files head

14

Remplacer la chaîne dans un fichier texte énorme (70 Go), une ligne

J'ai un énorme (70 Go), une ligne , un fichier texte et je veux remplacer une chaîne (jeton) en elle. Je souhaite remplacer le jeton <unk>par un autre jeton factice ( problème de gant ). J'ai essayé sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new mais le fichier de sortie corpus.txt.newa …

126 text-processing sed large-files

9

Comment supprimer les lignes en double dans un fichier texte?

Un de mes énormes fichiers texte (jusqu’à 2 Gio) contient environ 100 doublons exacts de chaque ligne qu’il contient (inutile dans mon cas, car le fichier est une table de données de type CSV). Ce dont j'ai besoin, c’est d’éliminer toutes les répétitions (de préférence, mais cela peut être sacrifié …

126 files text-processing large-files

11

Existe-t-il un moyen de modifier un fichier sur place?

J'ai un fichier assez volumineux (35 Go), et j'aimerais filtrer ce fichier in situ (c'est-à-dire que je n'ai pas assez d'espace disque pour un autre fichier), en particulier je veux grep et ignorer certains modèles - faire cela sans utiliser un autre fichier? Disons que je veux filtrer toutes les …

54 text-processing grep large-files

2

Différents deux gros fichiers texte

J'ai deux gros fichiers (6 Go chacun). Ils ne sont pas triés, avec des sauts de ligne ( \n) comme séparateurs. Comment puis-je les différencier? Cela devrait prendre moins de 24h.

32 performance diff large-files

3

Transfert de fichiers volumineux (8 Go) via ssh

Je l'ai essayé avec SCP, mais il indique "Taille de fichier négative". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size A également essayé d'utiliser SFTP, a bien fonctionné jusqu'à ce que 2 Go du fichier soient transférés, puis s'est arrêté: sftp> put matlab.iso Uploading matlab.iso to /home/x/matlab.iso matlab.iso -298% 2021MB -16651.-8KB/s …

27 scp sftp large-files

3

Remplacez le texte rapidement dans un fichier très volumineux

J'ai un fichier texte de 25 Go qui a besoin d'une chaîne remplacée sur seulement quelques lignes. Je peux l'utiliser sedavec succès, mais cela prend beaucoup de temps pour fonctionner. sed -i 's|old text|new text|g' gigantic_file.sql Existe-t-il un moyen plus rapide de procéder?

25 sed replace large-files

2

Pourquoi ces fichiers dans un volume ext4 sont-ils fragmentés?

J'ai une ext4partition de 900 Go sur un disque dur (magnétique) qui n'a aucun défaut et aucun mauvais secteur. La partition est complètement vide à l'exception d'un lost+foundrépertoire vide . La partition a été formatée en utilisant les paramètres par défaut, sauf que j'ai défini le nombre de blocs de …

19 filesystems ext4 large-files

1

Nombre de fichiers par répertoire

J'ai un répertoire avec environ 100000 petits fichiers (chaque fichier est de 1 à 3 lignes, chaque fichier est un fichier texte). En taille, le répertoire n'est pas très grand (<2 Go). Ces données résident dans un serveur NFS géré par des professionnels. Le serveur exécute Linux. Je pense que …

19 filesystems large-files

5

Comment puis-je modifier un gros fichier sur place?

J'ai quelques fichiers de taille> 1 Go chacun. J'ai besoin de supprimer les derniers octets des fichiers. Comment puis-je le faire? Je préfère modifier le fichier en place pour économiser de l'espace disque. Je suis sur HP-UX.

18 files editors hp-ux large-files

2

fonction de grand fichier lors de la création d'un système de fichiers

Est-il utile d'utiliser l' indicateur -T largefile pour créer un système de fichiers pour une partition avec de gros fichiers comme la vidéo et l'audio au format flac? J'ai testé la même partition avec cet indicateur et sans lui, et en utilisant tune2fs -l [partition] , j'ai vérifié dans "Fonctionnalités …

17 filesystems ext4 ext3 large-files ext2

3

Emacs: ouvrir un tampon avec toutes les lignes entre les lignes X à Y à partir d'un énorme fichier

Dans le même esprit que cette autre question: ligne de chat X à ligne Y sur un énorme fichier : Existe-t-il un moyen d'ouvrir depuis Emacs (et d'afficher sur un tampon) un ensemble donné de lignes (par exemple toutes les lignes entre la ligne Xet Y) à partir d'un énorme …

10 emacs large-files

2

Commande sed de base sur un gros fichier d'une ligne: impossible de réallouer la mémoire

J'ai un fichier texte de 250 Mo, le tout sur une seule ligne. Dans ce fichier, je veux remplacer les acaractères par des bcaractères: sed -e "s/a/b/g" < one-line-250-mb.txt Il échoue avec: sed: couldn't re-allocate memory Il me semble que ce type de tâche pourrait être effectué en ligne sans …

10 text-processing sed performance large-files out-of-memory

4

Comment trouver des lignes en double dans de nombreux fichiers volumineux?

J'ai ~ 30k fichiers. Chaque fichier contient environ 100 000 lignes. Une ligne ne contient aucun espace. Les lignes d'un fichier individuel sont triées et dupliquées gratuitement. Mon objectif: je veux trouver toutes les lignes en double dans deux fichiers ou plus, ainsi que les noms des fichiers contenant des …

9 shell-script text-processing performance large-files deduplication

1

Affichage d'une grande image sous Linux

J'ai besoin de voir une grande image png (50000x40000 px) sous Linux. Malheureusement, la plupart des outils (eog, convert, etc.) se bloquent ou échouent avec une note sur trop peu de mémoire. Existe-t-il un moyen de visualiser cette image (je préférerais voir à la fois l'image redimensionnée et les détails)?

9 images large-files

Questions marquées «large-files»