Unix & Linux text-processing

6

J'ai un fichier texte dans un encodage inconnu ou mixte. Je souhaite afficher les lignes contenant une séquence d'octets non valide UTF-8 (en transférant le fichier texte dans un programme). De manière équivalente, je veux filtrer les lignes qui sont valides UTF-8. En d'autres termes, je cherche .grep [notutf8] Une …

50 command-line text-processing character-encoding unicode

10

Comment tester si un fichier utilise CRLF ou LF sans le modifier?

Je dois exécuter périodiquement une commande qui garantit que certains fichiers texte sont conservés en mode Linux. Malheureusement, dos2unixmodifie toujours le fichier, ce qui perturberait les horodatages des fichiers et des dossiers et provoquerait des écritures inutiles. Le script que j'écris est en Bash, je préférerais donc des réponses basées …

48 bash text-processing newlines

13

Comment imprimer toutes les lignes après une correspondance jusqu'à la fin du fichier?

Le fichier d'entrée 1 est: dog 123 4335 cat 13123 23424 deer 2131 213132 bear 2313 21313 Je donne à la correspondance le motif de dans other file(comme à dog 123 4335partir de fichier2). Je fais correspondre le motif de la ligne dog 123 4335et après avoir imprimé toutes les …

48 text-processing sed grep

19

Existe-t-il un outil de ligne de commande robuste pour le traitement des fichiers csv?

Je travaille avec des fichiers CSV et ai parfois besoin de vérifier rapidement le contenu d'une ligne ou d'une colonne à partir de la ligne de commande. Dans de nombreux cas cut, head, tailet amis feront le travail; Cependant, couper ne peut pas facilement traiter avec des situations telles que …

47 command-line software-rec text-processing csv

3

Comment puis-je tester l'encodage d'un fichier texte… Est-il valide et en quoi consiste-t-il?

J'ai plusieurs .htmfichiers qui s'ouvrent dans Gedit sans aucun avertissement / erreur, mais lorsque j'ouvre ces mêmes fichiers Jedit, cela m'avertit d'un encodage UTF-8 invalide ... La balise méta HTML indique "charset = ISO-8859-1". Jedit autorise une liste des codages de secours et une liste des auto-détecteurs de codage (actuellement …

46 text-processing utilities character-encoding

8

Comment convertir TXT en PDF?

Je veux convertir des .txtfichiers en .pdf. J'utilise ceci: ls | while read ONELINE; do convert -density 400 "$ONELINE" "$(echo "$ONELINE" | sed 's/.txt/.pdf/g')"; done Mais cela produit une "erreur" - s'il y a une très longue ligne dans le fichier texte, elle n'est pas encapsulée. Texte de saisie PDF …

45 text-processing pdf imagemagick conversion

5

Supprimer la dernière ligne du fichier

J'utilise sed pour supprimer rapidement des lignes avec une position spécifique sed '1d' sed '5d' Mais que se passe-t-il si je veux supprimer la dernière ligne du fichier et que je ne connais pas le nombre de lignes (je sais que je peux obtenir cela en utilisant wcplusieurs astuces). Actuellement, …

44 text-processing sed

5

Remplacer les variables d'environnement dans un fichier avec leurs valeurs réelles?

Existe-t-il un moyen simple de substituer / évaluer des variables d’environnement dans un fichier? Comme disons que j'ai un fichier config.xmlqui contient: <property> <name>instanceId</name> <value>$INSTANCE_ID</value> </property> <property> <name>rootPath</name> <value>/services/$SERVICE_NAME</value> </property> ...etc. Je veux remplacer $INSTANCE_IDdans le fichier par la valeur de la INSTANCE_IDvariable d'environnement, $SERVICE_NAMEpar la valeur de la variable …

41 shell-script text-processing scripting environment-variables

4

Comment obtenir uniquement les résultats uniques sans avoir à trier les données?

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ Le résultat dont j'ai besoin est d' afficher toutes les lignes du fichier d'origine en supprimant tous les doublons (pas uniquement …

40 text-processing uniq

6

Shell: Comment lire les octets d'un fichier binaire et imprimer en hexadécimal?

En shell, comment puis-je lire les octets d'un fichier binaire que j'ai et imprimer le résultat sous forme de nombres hexadécimaux?

39 shell text-processing binary

6

commande à la mise en page onglet séparé liste bien

Parfois, je reçois une liste séparée par des tabulations, ce qui n’est pas tout à fait aligné, par exemple var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3 Y at-il un moyen facile de les rendre alignés? var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3

39 command-line text-processing csv tabulation

4

Grep de la fin d'un fichier au début

J'ai un fichier avec environ 30.000.000 lignes (Radius Accounting) et j'ai besoin de trouver le dernier match d'un modèle donné. La commande: tac accounting.log | grep $pattern donne ce dont j'ai besoin, mais c'est trop lent car le système d'exploitation doit d'abord lire tout le fichier, puis l'envoyer au canal. …

39 text-processing files grep tail

5

Remplacer toutes les nouvelles lignes dans l'espace sauf la dernière

Comment puis-je remplacer toutes les nouvelles lignes par un espace, à l'exception de la dernière nouvelle ligne? Je peux remplacer toutes les nouvelles lignes dans l'espace, trmais comment puis-je le faire à quelques exceptions près?

38 bash shell-script text-processing tr

4

Manière la plus simple de commenter / décommenter certaines lignes à l'aide de la ligne de commande

Existe-t-il un moyen de commenter / de commenter un script shell / config / ruby en ligne de commande? par exemple: $ comment 14-18 bla.conf $ uncomment 14-18 bla.conf cela ajouterait ou supprimerait la #connexion bla.confen ligne 14à 18. Normalement, je l’utilise sed, mais je dois connaître le contenu de …

37 shell-script text-processing

1

Comment faire en sorte que les caractères non ascii (unicode) soient pris en compte?

J'essaie de supprimer certains caractères du fichier (UTF-8). J'utilise trà cette fin: tr -cs '[[:alpha:][:space:]]' ' ' <testdata.dat Le fichier contient des caractères étrangers (comme "Латвийская" ou "àé"). trne semble pas les comprendre: il les traite comme des non-alpha et les supprime aussi. J'ai essayé de modifier certains de mes …

36 linux text-processing unicode tr

Questions marquées «text-processing»