Un script qui supprime les espaces supplémentaires entre les lettres du texte

J'ai un document texte qui a une charge de texte qui a un espace supplémentaire ajouté après chaque lettre!

Exemple:

T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t…

Visuellement:

T␣h␣e␣␣b␣o␣o␣k␣␣a␣l␣s␣o␣␣h␣a␣s␣␣a␣n␣␣a␣n␣a␣l␣y␣t␣i ␣c␣a␣l␣␣p␣u␣r␣p␣o␣s␣e␣␣w␣h␣i␣c␣h␣␣i␣s␣␣m␣o␣r␣e␣␣i␣ m␣p␣o␣r␣t␣a␣n␣t…

Notez qu'il y a un espace supplémentaire après chaque lettre, donc il y a deux espaces entre les mots consécutifs.

Existe-t-il un moyen d'obtenir awkou sedde supprimer les espaces supplémentaires? (Malheureusement, ce document texte est volumineux et prendrait beaucoup de temps à parcourir manuellement.)  J'apprécie que c'est probablement un problème beaucoup plus complexe à résoudre avec un simple script bash car il doit également y avoir une sorte de reconnaissance de texte.

Comment puis-je aborder ce problème?

L'expression régulière suivante supprimera le premier espace de toute chaîne d'espaces. Cela devrait faire l'affaire.

s/ ( *)/\1/g

Donc quelque chose comme:

perl -i -pe 's/ ( *)/\1/g' infile.txt

... remplacera infile.txt par une version "fixe".

Utilisez wordsegmentun package NLP de segmentation de mots en Python pur:

$ pip install wordsegment
$ python2.7 -m wordsegment <<<"T h e b o o k a l s o h a s a n a n a l y t i c a l p u r p o s e w h i c h i s m o r e i m p o r t a n t"
the book also has an analytical purpose which is more important

Sur la base du fait que l'entrée comprend des espaces doubles entre les mots, il existe une solution beaucoup plus simple. Vous changez simplement les espaces doubles en un caractère inutilisé, supprimez les espaces et changez le caractère inutilisé en espace:

echo "T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t  " | sed 's/  /\-/g;s/ //g;s/\-/ /g'

...les sorties:

Le livre a également un objectif analytique qui est plus important

Perl à la rescousse!

Vous avez besoin d'un dictionnaire, c'est-à-dire d'un fichier contenant un mot par ligne. Sur mon système, il existe en tant que /var/lib/dict/words, j'ai également vu des fichiers similaires comme /usr/share/dict/britishetc.

Tout d'abord, vous vous souvenez de tous les mots du dictionnaire. Ensuite, vous lisez l'entrée ligne par ligne et essayez d'ajouter des caractères à un mot. Si c'est possible, vous vous souvenez du mot et essayez d'analyser le reste de la ligne. Si vous atteignez la fin de la ligne, vous sortez la ligne.

#!/usr/bin/perl
use warnings;
use strict;
use feature qw{ say };

my $words = '/var/lib/dict/words';
my %word;

sub analyze {
    my ($chars, $words, $pos) = @_;
    if ($pos == @$chars) {
        $_[3] = 1;  # Found.
        say "@$words";
        return
    }
    for my $to ($pos .. $#$chars) {
        my $try = join q(), @$chars[ $pos .. $to ];
        if (exists $word{$try}) {
            analyze($chars, [ @$words, $try ], $to + 1, $_[3]);
        }
    }
}


open my $WORDS, '<', $words or die $!;
undef @word{ map { chomp; lc $_ } <$WORDS> };

while (<>) {
    my @chars = map lc, /\S/g;
    analyze(\@chars, [], 0, my $found = 0);
    warn "Unknown: $_" unless $found;
}

Pour votre entrée, il génère 4092 lectures possibles sur mon système.

Remarque: cette réponse (comme quelques autres ici) est basée sur une version antérieure de la question où les mots n'étaient pas délimités. On peut répondre trivialement à la nouvelle version .

Sur une entrée comme:

T h e b o o k a l s o h a s a n a n a l y t i c a l p u r p o s e w h i c h i s m o r e i m p o r t a n t

Tu pourrais essayer:

 $ tr -d ' ' < file | grep -oiFf /usr/share/dict/words | paste -sd ' '
 The book also has ana na l y tic al purpose which ism ore important

Il traite de gauche à droite et trouve un mot le plus long après le suivant.

Évidemment, ici, ce n'est pas la meilleure sélection de mots car cette phrase n'a aucun sens, mais pour trouver la bonne, vous auriez besoin d'outils capables de comprendre la grammaire ou le sens du texte ou au moins quelques statistiques des informations sur les mots susceptibles d'être trouvés ensemble pour trouver l'ensemble de mots le plus probable. On dirait que la solution est une bibliothèque spécialisée trouvée par Lynn

Similaire à la version de Dewi Morgan, mais avec sed:

$ echo "f o o  t h e  b a r" | sed -r "s/[ ]{1}([^ ]{1})/\1/g"
foo the bar

Bien que cela puisse (et devrait) être fait avec une doublure Perl, un petit analyseur C serait également très rapide, et est également très petit (et, espérons-le, très correct):

#include <stdio.h>
#include <stdlib.h>

int main()
{
  char c1 = '\0', c2 = '\0', tmp_c;

  c1 = fgetc(stdin);
  for (;;) {
    if (c1 == EOF) {
      break;
    }
    c2 = fgetc(stdin);
    if (c2 == EOF) {
      if (c1 != ' ') {
        fputc(c1, stdout);
      }
      break;
    }
    if (c1 == c2 && c1 == ' ') {
      tmp_c = fgetc(stdin);
      if (tmp_c != EOF) {
        if (tmp_c != '\n') {
          ungetc(tmp_c, stdin);
          fputc(' ', stdout);
        } else {
          ungetc(tmp_c, stdin);
        }
      } else {
        break;
      }
    } else if (c1 != ' ') {
      fputc(c1, stdout);
    }
    c1 = c2;
  }
  exit(EXIT_SUCCESS);
}

Compilé avec

gcc-4.9 -O3 -g3  -W -Wall -Wextra -std=c11 lilcparser.c -o lilcparser

(le programme est un peu moins de 9kb)

Utiliser dans un tuyau comme par exemple:

echo "T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t  " | ./lilcparser

J'ai essayé cela et cela semble fonctionner:

echo "<text here>" | sed -r 's/(\w)(\s)/\1/g'

La sedcommande capture deux groupes et renvoie uniquement le premier.

En c ++, je ferais ceci:

#include <fstream>
using namespace std;

int main()
{   
    fstream is("test.txt", std::ios::in);

    char buff;
    vector<char>str;

    while (!is.eof()){is.get(buff);str.push_back(buff);} //read file to string

    for (int a=0;a<str.size();++a)if (str[a] == ' ' && str[a + 1] != ' ')str.erase(str.begin()+a);
    is.close();

    ofstream os("test.txt", std::ios::out | std::ios::trunc); //clear file for rewrite

    os.write(str.data(), str.size() * sizeof(char)); //write chars
    os.close();

    return 0;
    }

Modifie le contenu du fichier texte de test, dans la même chaîne, mais en supprimant les espaces entre les lettres. (Il faut un espace entre chaque lettre pour être précis).

$ echo 'F o u r  s c o r e  a n d' | \
txr -t '(mapcar* (opip (split-str @1 "  ")
                       (mapcar (op regsub #/ / ""))
                       (cat-str @1 " "))
                 (get-lines))'
Four score and


$ txr -e '(awk (:begin (set fs "  "))
               ((mf (regsub #/ / ""))))'  # mf: modify fields
F o u r  s c o r e  a n d
Four score and


$ awk -F'  ' '{for(i=1;i<=NF;i++)gsub(/ /,"",$i);print}'
F o u r  s c o r e  a n d
Four score and