Fusionnez deux fichiers ligne par ligne avec le délimiteur triple pipe symbol "|||"

J'ai deux fichiers parallèles avec le même nombre de lignes dans deux langues et je prévois de fusionner ces deux fichiers ligne par ligne avec le délimiteur |||. Par exemple, les deux fichiers sont les suivants:

Déposer un:

1Mo 1,1 I love you.
1Mo 1,2 I like you.
Hi 1,3 I am hungry.
Hi 1,4 I am foolish.

Fichier B:

1Mo 1,1 Ich liebe dich.
1Mo 1,2 Ich mag dich.
Hi 1,3 Ich habe Durst.
Hi 1,4 Ich bin neu.

La sortie attendue est la suivante:

1Mo 1,1 I love you. ||| 1Mo 1,1 Ich liebe dich.
1Mo 1,2 I like you. ||| 1Mo 1,2 Ich mag dich.
Hi 1,3 I am hungry. ||| Hi 1,3 Ich habe Durst.
Hi 1,4 I am foolish. ||| Hi 1,4 Ich bin neu.

J'ai essayé la pastecommande telle que:

paste -d "|||" fileA fileB

Mais la sortie renvoyée ne contient qu'un seul tube tel que:

1Mo 1,1 I love you. |1Mo 1,1 Ich liebe dich.
1Mo 1,2 I like you. |1Mo 1,2 Ich mag dich.

Existe-t-il un moyen de séparer chaque paire de lignes par des tripes |||?

Avec la pâte POSIX :

:|paste -d ' ||| ' fileA - - - - fileB

pasteconcaténera les lignes correspondantes de tous les fichiers d'entrée. Ici, nous avons six fichiers, fileAquatre fichiers fictifs de la norme dans -et fileB.

La liste des délimiteurs comprend un espace, trois tuyaux et un espace dans cet ordre sera utilisé par pastecirculairement.

Pour la première ligne de six fichiers, fileAsera concaténé avec le premier fichier factice (qui n'est rien, grâce à la opérateur no-op :), produit line1-fileA<space>.

Le premier fichier factice sera concaténé avec le second par un tuyau, produire line1-fileA |, puis le deuxième fichier factice avec le troisième fichier factice, produireline1-fileA || , le troisième fichier factice avec le quatrième fichier factice, produire line1-fileA |||.

Et le quatrième fichier factice avec fileB , produire line1-fileA ||| line1-fileB.

Cette étape sera répétée pour toutes les lignes, vous donnera le résultat attendu.

L'utilisation de :|est pour moins de frappe, et est principalement utilisée dans le shell interactif. Dans un script, vous devez utiliser:

</dev/null paste -d ' ||| ' fileA - - - - fileB

pour empêcher la génération d'un sous-shell.

Eh bien, cela n'utilise pas sed, awk ou grep, mais vous pouvez le faire assez facilement en bash. La commande est:

(while IFS= read -r a <&3 && IFS= read -r b <&4; do echo "$a ||| $b"; done) 3<fileA 4<fileB

Le problème avec la pâte est que le délimiteur est un seul caractère. Vous pouvez également insérer un seul caractère et utiliser sed pour le transformer, mais cela pourrait être source d'erreurs si le caractère apparaît déjà dans le fichier d'entrée.

Une version awk (GNU)

awk '{printf ("%s ||| ", $0); getline < "fileB"; print $0 }' fileA

Avec la getlinecommande in awk, vous pouvez définir $0(toutes les variables pour les colonnes) à partir du prochain enregistrement d'entrée, si getline < "filename"vous définissez le suivant à $0partir du fichier spécifié.

getline <"fichier" Fixe $ 0 à partir du prochain enregistrement de fichier; définir NF.

Pourquoi votre tentative n'a pas fonctionné comme prévu? De man pastenous pouvons lire

-d, --delimiters=LIST
     reuse characters from LIST instead of TABs

mais il utilise les délimiteurs un pour chaque colonne .

Donc, la commande
paste -d '|*|*' fileA fileB fileA fileBme donne des lignes comme

Hi 1,3 I am hungry.|Hi 1,3 Ich habe Durst.*Hi 1,3 I am hungry.|Hi 1,3 Ich...
Hi 1,4 I am foolish.|Hi 1,4 Ich bin neu.*Hi 1,4 I am foolish.|Hi 1,4 Ich...

Une sedsolution que je suggère d'éviter même si elle est proche de votre tentative d'origine, car elle corrige le comportement obtenu à votre objectif d'origine:

 paste -d '|' fileA fileB | sed 's/|/|||/g'

À éviter car vous remplacez chaque modèle |par le nouveau |||, mais vous devez supposer que le symbole de tuyau ( |) n'est pas présent dans vos données , sinon vous devez traiter des cas spéciaux et rendre le code plus complexe pour éviter les effets secondaires.

Une variante avec la construction Here String [ 1 ]<<<

 paste -d ' ||| ' fileA - - - - fileB  <<< ''

Vous définissez 5 délimiteurs avec -d ' ||| '(espace, |, |, |, espace) et 4 fichiers factices ( - - - -) qui prendront les données de la chaîne vide ''.

_{Testé sur GNU Awk 4.0.1, paste (GNU coreutils) 8.21 et sed (GNU sed) 4.2.2}

Si vous voulez éviter la magie et le drame des délimiteurs circulaires et des fichiers factices, vous pouvez simplement ajouter votre délimiteur à un fichier avant de les coller:

paste <(sed 's/$/ |||/' filea) fileb

donne

1Mo 1,1 I love you. ||| 1Mo 1,1 Ich liebe dich.
1Mo 1,2 I like you. ||| 1Mo 1,2 Ich mag dich.
Hi 1,3 I am hungry. ||| Hi 1,3 Ich habe Durst.
Hi 1,4 I am foolish. |||    Hi 1,4 Ich bin neu.

vous pouvez aussi le faire en python de cette façon.

lines1 = [ line.rstrip() for line in open("file1") ]
lines2 = [ line.rstrip() for line in open("file2") ]
for i in xrange((len(lines1))): print lines1[i] + " ||| " + lines2[i]
... 
1Mo 1,1 I love you. ||| 1Mo 1,1 Ich liebe dich.
1Mo 1,2 I like you. ||| 1Mo 1,2 Ich mag dich.
Hi 1,3 I am hungry. ||| Hi 1,3 Ich habe Durst.
Hi 1,4 I am foolish. ||| Hi 1,4 Ich bin neu.