Remplacer la chaîne contenant la nouvelle ligne dans un fichier énorme

Quelqu'un connaît-il un outil non basé sur la ligne pour rechercher / remplacer des chaînes "binaires" d'une manière quelque peu efficace en mémoire? Voir aussi cette question .

J'ai un fichier texte de + 2 Go que j'aimerais traiter de manière similaire à ce que cela semble faire:

sed -e 's/>\n/>/g'

Cela signifie que je souhaite supprimer toutes les nouvelles lignes qui se produisent après un > , mais pas ailleurs, de sorte que cela soit exclu tr -d.

Cette commande (que j'ai obtenue de la réponse à une question similaire ) échoue avec couldn't re-allocate memory:

sed --unbuffered ':a;N;$!ba;s/>\n/>/g'

Alors, existe-t-il d'autres méthodes sans recourir à C? Je déteste Perl, mais je suis prêt à faire une exception dans ce cas :-)

Je ne sais pas avec certitude de caractère qui ne se produit pas dans les données, donc remplacement temporaire \n par un autre caractère est quelque chose que j'aimerais éviter si possible.

Des bonnes idées, quelqu'un?

C'est vraiment trivial en Perl, vous ne devriez pas le détester!

perl -i.bak -pe 's/>\n/>/' file

Explication

• -i: modifiez le fichier en place et créez une sauvegarde de l'original appelé file.bak. Si vous ne voulez pas de sauvegarde, utilisez simplement à la perl -i -peplace.
• -pe: lire le fichier d'entrée ligne par ligne et imprimer chaque ligne après avoir appliqué le script donné en -e.
• s/>\n/>/: la substitution, tout comme sed.

Et voici une awkapproche:

awk  '{if(/>$/){printf "%s",$0}else{print}}' file2 

Une perlsolution:

$ perl -pe 's/(?<=>)\n//'

Explication

• s/// est utilisé pour la substitution de chaînes.
• (?<=>) est le modèle de lookbehind.
• \n correspond à la nouvelle ligne.

Le motif entier signifie supprimer tous les sauts de ligne qui l'ont >précédé.

Que dis-tu de ça:

sed ':loop
  />$/ { N
    s/\n//
    b loop
  }' file

Pour GNU sed, vous pouvez également essayer d'ajouter l' option -u( --unbuffered) selon la question. GNU sed en est également satisfait en tant que simple doublure:

sed ':loop />$/ { N; s/\n//; b loop }' file

Vous devriez pouvoir l'utiliser sedavec la Ncommande, mais l'astuce sera de supprimer une ligne de l'espace de motif chaque fois que vous en ajouterez une autre (de sorte que l'espace de motif ne contienne toujours que 2 lignes consécutives, au lieu d'essayer de lire dans son intégralité fichier) - essayez

sed ':a;$!N;s/>\n/>/;P;D;ba'

EDIT: après avoir relu le fameux Sed One-Liners de Peteris Krumins expliqué, je crois qu'une meilleure sedsolution serait

sed -e :a -e '/>$/N; s/\n//; ta'

qui ajoute seulement la ligne suivante dans le cas où il a déjà fait une >correspondance à la fin, et devrait boucler conditionnellement pour gérer le cas des lignes correspondantes consécutives (c'est le 39 de Krumin . Ajouter une ligne à la suivante si elle se termine par une barre oblique inverse) "\" à l' exception de la substitution de >for \comme caractère de jointure et du fait que le caractère de jointure est conservé dans la sortie).

sedne fournit pas un moyen d'émettre la sortie sans une nouvelle ligne finale. Votre approche utilisant Nfondamentalement fonctionne, mais stocke des lignes incomplètes en mémoire, et peut donc échouer si les lignes deviennent trop longues (les implants sed ne sont généralement pas conçus pour gérer des lignes extrêmement longues).

Vous pouvez utiliser awk à la place.

awk '{if (/<$/) printf "%s", $0; else print}'

Une autre approche consiste à trremplacer le caractère de retour à la ligne par un caractère «ennuyeux» qui se produit fréquemment. L'espace peut fonctionner ici - choisissez un caractère qui a tendance à apparaître sur chaque ligne ou au moins une grande proportion de lignes dans vos données.

tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n'

qu'en est-il d'utiliser ed?

ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw'

(via http://wiki.bash-hackers.org/howto/edit-ed )

J'ai fini par utiliser gsar comme décrit dans cette réponse comme ceci:

gsar -F '-s>:x0A' '-r>'

Il existe de nombreuses façons de le faire, et la plupart ici sont vraiment bonnes, mais je pense que celui-ci est mon préféré:

tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/'

Ou même:

tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'