diviser le fichier en deux parties, selon un modèle

Comment diviser un gros fichier en deux parties, selon un modèle?

Donné un exemple file.txt:

ABC
EFG
XYZ
HIJ
KNL

Je veux diviser ce fichier en XYZtel qu'il file1contient des lignes vers le haut XYZet le reste des lignes file2.

Avec awkvous pouvez faire:

awk '{print >out}; /XYZ/{out="file2"}' out=file1 largefile

Explication: Le premier awkargument ( out=file1) définit une variable avec le nom de fichier qui sera utilisé pour la sortie pendant le largefiletraitement de l' argument suivant ( ). Le awkprogramme imprimera toutes les lignes dans le fichier spécifié par la variable out( {print >out}). Si le motif XYZest trouvé, la variable de sortie sera redéfinie pour pointer vers le nouveau fichier ( {out="file2}") qui sera utilisé comme cible pour imprimer les lignes de données suivantes.

Les références:

• manuel gawk: Redirection http://www.gnu.org/software/gawk/manual/html_node/Redirection.html#Redirection

C'est un travail pour csplit:

csplit -sf file -n 1 large_file /XYZ/

serait silently diviser le fichier, la création de pièces avec pré fix fileet numbered à l' aide d' un seul chiffre, par exemple , file0etc. Notez que l' utilisation /regex/décomposerait, mais ne comprenant pas la ligne qui correspond regex. Pour diviser jusqu'à et y compris la mise en correspondance de ligne regexajouter un +1décalage:

csplit -sf file -n 1 large_file /XYZ/+1

Cela crée deux fichiers file0et file1. Si vous avez absolument besoin qu'ils soient nommés file1et que file2vous puissiez toujours ajouter un modèle vide à la csplitcommande et supprimer le premier fichier:

csplit -sf file -n 1 large_file // /XYZ/+1

crée file0, file1et file2mais file0est vide de sorte que vous pouvez en toute sécurité supprimer:

rm -f file0

Avec une version moderne, kshvoici une variante de shell (c'est-à-dire sans sed) de l'une des sedréponses ci-dessus:

{ read in <##XYZ ; print "$in" ; cat >file2 ;} <largefile >file1

Et une autre variante en elle- kshmême (c'est-à-dire en omettant également la cat):

{ read in <##XYZ ; print "$in" ; { read <##"" ;} >file2 ;} <largefile >file1

(La kshsolution pure semble être assez performante; sur un fichier de test de 2,4 Go, elle a nécessité 19 à 21 secondes, contre 39 à 47 secondes avec l' approche sed/ cat).

{ sed '/XYZ/q' >file1; cat >file2; } <infile

Avec GNU, sedvous devez utiliser le -ucommutateur nbuffered. La plupart des autres seds devraient tout de même fonctionner.

Pour exclure XYZ ...

{ sed -n '/XYZ/q;p'; cat >file2; } <infile >file1

Essayez ceci avec GNU sed:

sed -n -e '1,/XYZ/w file1' -e '/XYZ/,${/XYZ/d;w file2' -e '}' large_file

Un hack facile consiste à imprimer sur STDOUT ou STDERR, selon que le motif cible a été mis en correspondance. Vous pouvez ensuite utiliser les opérateurs de redirection du shell pour rediriger la sortie en conséquence. Par exemple, en Perl, en supposant que le fichier d'entrée est appelé fet les deux fichiers de sortie f1et f2:

1. Supprimer la ligne qui correspond au modèle de fractionnement:

   perl -ne 'if(/XYZ/){$a=1; next} ; $a==1 ? print STDERR : print STDOUT;' f >f1 2>f2

2. Y compris la ligne assortie:

   perl -ne '$a=1 if /XYZ/; $a==1 ? print STDERR : print STDOUT;' f >f1 2>f2

Vous pouvez également imprimer dans différentes poignées de fichier:

1. Supprimer la ligne qui correspond au modèle de fractionnement:

   perl -ne 'BEGIN{open($fh1,">","f1");open($fh2,">","f2");}
   if(/XYZ/){$a=1; next}$a==1 ? print $fh1 "$_" : print $fh2 "$_";' f

2. Y compris la ligne assortie:

   perl -ne 'BEGIN{open($fh1,">","f1"); open($fh2,">","f2");}
             $a=1 if /XYZ/; $a==1 ? print $fh1 "$_" : print $fh2 "$_";' f