Je supprime les mots vides d'un texte, en utilisant à peu près ce code

J'ai le suivant

$ cat file
file
types
extensions

$ cat stopwords
i
file
types

grep -vwFf stopwords file

J'attends le résultat: extensions

mais je reçois le (je pense incorrect)

file
extensions

C'est comme si le mot fileavait été ignoré dans le fichier des mots vides. Maintenant, voici le bit cool: si je modifie le fichier des mots vides, en changeant le mot / lettre isur la première ligne, à toute autre lettre ascii à part f, i, l, e, puis la même commande grep me donne un résultat différent et correcte extensions.

Que se passe-t-il ici et comment y remédier?

J'utilise grep (BSD grep) 2.5.1-FreeBSD sur un bash Mac OSX GNU, version 4.4.12 (1)

Il s'agissait d'un bogue bsdgreplié à une variable qui suit la partie de la ligne actuelle à analyser, qui est remplacée par des appels successifs au moteur de correspondance d'expressions régulières lorsque plusieurs modèles sont impliqués.

correction locale

Vous pouvez contourner cela dans une certaine mesure en n'utilisant pas l' -woption, qui s'appuie sur cette variable pour un fonctionnement correct et donc échoue, mais à la place en utilisant les extensions d'expressions régulières qui correspondent au début et à la fin des mots, ce qui donne à votre stopwordsfichier l'apparence suivante:

\ <i \>
\ <fichier \>
\ <types \>

Cette solution de contournement nécessitera également que vous n'utilisez pas l' -Foption.

Notez que les composants d'expression régulière documentés[[:<:]] et [[:>:]]dont le re_formatmanuel vous parle ne fonctionneront pas ici. Cela est dû au fait que la bibliothèque d'expressions régulières compilée dans la bsdgrepprise en charge de la compatibilité des expressions régulières GNU est activée. Il s'agit d'un autre bug qui aurait été corrigé.

correctif de service

Ce bug a été corrigé plus tôt cette année. Le correctif n'a pas encore fait son entrée dans les versions STABLE ou RELEASE de FreeBSD, mais serait dans CURRENT.

Pour obtenir ceci dans la version MacOS de grep, dérivée de FreeBSD bsdgrep, veuillez consulter Apple. ☺

Lectures complémentaires

• Jonathan de Boyne Pollard (2017-10-15). bsdgrep se comporte de manière incorrecte lorsqu'il reçoit plusieurs modèles . Bogue n ° 223031. FreeBSD Bugzilla.
• Kyle Evans (2017-04-03). bsdgrep: correction du comportement de correspondance . Révision 316477. Source FreeBSD.
• Kyle Evans (2017-05-02). bsdgrep: correction de -w -v ne correspondant pas correctement à certains modèles . Révision 317665. Source FreeBSD.
• Nathan Weeks (2014-06-16). grep (1) et bsdgrep (1) ne reconnaissent pas [[: <:]] et [[:>:]] . Bogue n ° 191086. FreeBSD Bugzilla.

Ce code:

pl " Input data file data1 and stopwords file data2:"
head data1 data2

pl " Expected output:"
cat $E

pl " Results, grep:"
# grep -vwFf stopwords file
grep -vwFf data2 data1

pl " Results, cgrep:"
cgrep -x1 -vFf data2 data1

produit:

-----
 Input data file data1 and stopwords file data2:
==> data1 <==
file
types
extensions

==> data2 <==
i
file
types

-----
 Expected output:
extensions

-----
 Results, grep:
file
extensions

-----
 Results, cgrep:
extensions

Sur un système comme:

OS, ker|rel, machine: Apple/BSD, Darwin 16.7.0, x86_64
Distribution        : macOS 10.12.6 (16G29), Sierra
bash GNU bash 3.2.57

Plus de détails sur cgrep, disponibles via brew et sur sourceforge:

cgrep   shows context of matching patterns found in files (man)
Path    : ~/executable/cgrep
Version : 8.15
Type    : Mach-O64-bitexecutablex86_64 ...)
Home    : http://sourceforge.net/projects/cgrep/ (doc)

cheers, drl