Convertir les fins de ligne pour toute l'arborescence de répertoires (Git)


162

Situation suivante:

Je travaille sur un Mac sous OS X et j'ai récemment rejoint un projet dont les membres utilisent jusqu'à présent tous Windows. L'une de mes premières tâches a été de configurer la base de code dans un référentiel Git, j'ai donc extrait l'arborescence de répertoires de FTP et essayé de l'archiver dans le dépôt Git que j'avais préparé localement. En essayant de faire ça, tout ce que j'ai eu c'est ça

fatal: CRLF would be replaced by LF in blog/license.txt.

Puisque cela affecte tous les fichiers sous le dossier "blog", je cherche un moyen de convertir facilement TOUS les fichiers de l'arborescence en fins de ligne Unix. Existe-t-il un outil prêt à l'emploi ou est-ce que j'écris quelque chose moi-même?

Pour référence, ma configuration Git concernant les fins de ligne:

core.safecrlf=true
core.autocrlf=input

Réponses:


268

dos2unix fait cela pour vous. Processus assez simple.
dos2unix filename

Grâce à toolbear, voici une ligne unique qui remplace de manière récursive les fins de ligne et gère correctement les espaces, les guillemets et les méta-caractères shell.

find . -type f -exec dos2unix {} \;

Si vous utilisez les fichiers binaires dos2unix 6.0, ils seront ignorés.


8
find blog -type f | xargs dos2unixdevrait être plus rapide. Vous n'avez pas besoin non -name *.*plus, à moins que vous ne vouliez spécifiquement des fichiers avec un point quelque part dans le nom. C'est un glob Windows, pas un * nix.
Inutile du

15
Le transfert findvers xargséchouera si findcorrespond à des fichiers avec des espaces, des guillemets ou d'autres méta-caractères du shell dans leur chemin. Au moins utiliser find blog -type f -print0 | xargs -0 dos2unixpour gérer le cas des espaces. Vous devez utiliser finds -execau lieu de piping pour éviter les guillemets, etc. La dos2unixpage de manuel ne spécifie pas quel est son comportement si vous l'appelez sur des fichiers binaires. S'il convertit CRLF en fichiers binaires, il les corrompra. Voir ma réponse pour une alternative plus sûre, quoique plus longue.
toolbear

1
@lukmdo qui n'est pas la version installée sur centos 6.4 ..... qui les écrase .... au lieu de cela, j'ai dû d / l à partir d'ici rpmfind.net/linux/rpm2html/search.php?query=dos2unix
Kerridge0

Addendum: La CLI dos2unix est plus facilement installée via Homebrew (et non npm).
2540625

2
Comment ignorerait-on les répertoires en utilisant cette approche, si possible?
datatype_void

50

En supposant que vous avez GNU grepet que perlcela convertira récursivement CRLF en LF dans des fichiers non binaires dans le répertoire actuel:

find . -type f -exec grep -qIP '\r\n' {} ';' -exec perl -pi -e 's/\r\n/\n/g' {} '+'

Comment ça fonctionne

Rechercher récursivement dans le répertoire courant; changer .dans blogou whatevsous - répertoires pour limiter le remplacement:

find .

Ne correspond qu'aux fichiers normaux:

  -type f

Testez si le fichier contient CRLF. Excluez les fichiers binaires. Exécute la grepcommande pour chaque fichier normal. C'est le prix de l'exclusion des binaires. Si vous en avez un ancien, grepvous pouvez essayer de construire un test en utilisant la filecommande:

  -exec grep -qIP '\r\n' {} ';'

Remplacez CRLF par LF. Le '+'avec le second -execindique findd'accumuler les fichiers correspondants et de les passer à une (ou aussi peu que possible) invocations de la commande - comme le piping to xargs, mais sans problème si le chemin du fichier contient des espaces, des guillemets ou d'autres méta caractères du shell. Le iin -piindique à perl de modifier le fichier en place. Vous pourriez utiliser sedou awkici avec un peu de travail, et vous changerez probablement '+' en ';' et invoquez un processus distinct pour chaque correspondance:

  -exec perl -pi -e 's/\r\n/\n/g' {} '+'

6
Au cas où cela aiderait quelqu'un: grep -qIP '\r\n'ne correspond jamais à rien sur mon système CentOS. Changer cela a grep -qIP '\r$'fonctionné.
Steve Onorato

Je déteste demander dans les commentaires, mais existe-t-il un moyen d'exclure un dossier comme node_modules?
datatype_void

1
@datatype_void jetez un œil à stackoverflow.com/questions/4210042/… pour savoir comment modifier la findpartie de la commande pour exclure des répertoires. Ils suggèrent d'utiliser -path, mais vous pouvez également utiliser -regexou -iregex, c'est-à-dire -not -regex '.*/node_modules/.*'qui exclura un node_modulesà n'importe quelle profondeur.
toolbear

Désolé si je me présente comme un regexou un bashnoob, mais qu'en est-il des exclusions multiples, disons node_moduleet distpar exemple?
datatype_void

GNU grep est requis pour le -Pdrapeau. OS X est passé de GNU grep à BSD grep. Quelques alternatives pour OS X: stackoverflow.com/questions/16658333/…
toolbear

29

Voici une meilleure option: Swiss File Knife . Il fonctionne de manière récursive dans les sous-répertoires et gère correctement les espaces et les caractères spéciaux.

Tout ce que tu dois faire est:

sfk remcr -dir your_project_directory

Bonus: sfk effectue également de nombreuses autres conversions. Voir ci-dessous pour la liste complète:

SFK - The Swiss File Knife File Tree Processor.
Release 1.6.7 Base Revision 2 of May  3 2013.
StahlWorks Technologies, http://stahlworks.com/
Distributed for free under the BSD License, without any warranty.

type "sfk commandname" for help on any of the following.
some commands require to add "-help" for the help text.

   file system
      sfk list       - list directory tree contents.
                       list latest, oldest or biggest files.
                       list directory differences.
                       list zip jar tar gz bz2 contents.
      sfk filefind   - find files by filename
      sfk treesize   - show directory size statistics
      sfk copy       - copy directory trees additively
      sfk sync       - mirror tree content with deletion
      sfk partcopy   - copy part from a file into another one
      sfk mkdir      - create directory tree
      sfk delete     - delete files and folders
      sfk deltree    - delete whole directory tree
      sfk deblank    - remove blanks in filenames
      sfk space [-h] - tell total and free size of volume
      sfk filetime   - tell times of a file
      sfk touch      - change times of a file

   conversion
      sfk lf-to-crlf - convert from LF to CRLF line endings
      sfk crlf-to-lf - convert from CRLF to LF line endings
      sfk detab      - convert TAB characters to spaces
      sfk entab      - convert groups of spaces to TAB chars
      sfk scantab    - list files containing TAB characters
      sfk split      - split large files into smaller ones
      sfk join       - join small files into a large one
      sfk hexdump    - create hexdump from a binary file
      sfk hextobin   - convert hex data to binary
      sfk hex        - convert decimal number(s) to hex
      sfk dec        - convert hex number(s) to decimal
      sfk chars      - print chars for a list of codes
      sfk bin-to-src - convert binary to source code

   text processing
      sfk filter     - search, filter and replace text data
      sfk addhead    - insert string at start of text lines
      sfk addtail    - append string at end of text lines
      sfk patch      - change text files through a script
      sfk snapto     - join many text files into one file
      sfk joinlines  - join text lines split by email reformatting
      sfk inst       - instrument c++ sourcecode with tracing calls
      sfk replace    - replace words in binary and text files
      sfk hexfind    - find words in binary files, showing hexdump
      sfk run        - run command on all files of a folder
      sfk runloop    - run a command n times in a loop
      sfk printloop  - print some text many times
      sfk strings    - extract strings from a binary file
      sfk sort       - sort text lines produced by another command
      sfk count      - count text lines, filter identical lines
      sfk head       - print first lines of a file
      sfk tail       - print last lines of a file
      sfk linelen    - tell length of string(s)

   search and compare
      sfk find       - find words in binary files, showing text
      sfk md5gento   - create list of md5 checksums over files
      sfk md5check   - verify list of md5 checksums over files
      sfk md5        - calc md5 over a file, compare two files
      sfk pathfind   - search PATH for location of a command
      sfk reflist    - list fuzzy references between files
      sfk deplist    - list fuzzy dependencies between files
      sfk dupfind    - find duplicate files by content

   networking
      sfk httpserv   - run an instant HTTP server.
                       type "sfk httpserv -help" for help.
      sfk ftpserv    - run an instant FTP server
                       type "sfk ftpserv -help" for help.
      sfk ftp        - instant anonymous FTP client
      sfk wget       - download HTTP file from the web
      sfk webrequest - send HTTP request to a server
      sfk tcpdump    - print TCP conversation between programs
      sfk udpdump    - print incoming UDP requests
      sfk udpsend    - send UDP requests
      sfk ip         - tell own machine's IP address(es).
                       type "sfk ip -help" for help.
      sfk netlog     - send text outputs to network,
                       and/or file, and/or terminal

   scripting
      sfk script     - run many sfk commands in a script file
      sfk echo       - print (coloured) text to terminal
      sfk color      - change text color of terminal
      sfk alias      - create command from other commands
      sfk mkcd       - create command to reenter directory
      sfk sleep      - delay execution for milliseconds
      sfk pause      - wait for user input
      sfk label      - define starting point for a script
      sfk tee        - split command output in two streams
      sfk tofile     - save command output to a file
      sfk toterm     - flush command output to terminal
      sfk loop       - repeat execution of a command chain
      sfk cd         - change directory within a script
      sfk getcwd     - print the current working directory
      sfk require    - compare version text

   development
      sfk bin-to-src - convert binary data to source code
      sfk make-random-file - create file with random data
      sfk fuzz       - change file at random, for testing
      sfk sample     - print example code for programming
      sfk inst       - instrument c++ with tracing calls

   diverse
      sfk media      - cut video and binary files
      sfk view       - show results in a GUI tool
      sfk toclip     - copy command output to clipboard
      sfk fromclip   - read text from clipboard
      sfk list       - show directory tree contents
      sfk env        - search environment variables
      sfk version    - show version of a binary file
      sfk ascii      - list ISO 8859-1 ASCII characters
      sfk ascii -dos - list OEM codepage 850 characters
      sfk license    - print the SFK license text

   help by subject
      sfk help select   - how dirs and files are selected in sfk
      sfk help options  - general options reference
      sfk help patterns - wildcards and text patterns within sfk
      sfk help chain    - how to combine (chain) multiple commands
      sfk help shell    - how to optimize the windows command prompt
      sfk help unicode  - about unicode file reading support
      sfk help colors   - how to change result colors
      sfk help xe       - for infos on sfk extended edition.

   All tree walking commands support file selection this way:

   1. short format with ONE directory tree and MANY file name patterns:
      src1dir .cpp .hpp .xml bigbar !footmp
   2. short format with a list of explicite file names:
      letter1.txt revenues9.xls report3\turnover5.ppt
   3. long format with MANY dir trees and file masks PER dir tree:
      -dir src1 src2 !src\save -file foosys .cpp -dir bin5 -file .exe

   For detailed help on file selection, type "sfk help select".

   * and ? wildcards are supported within filenames. "foo" is interpreted
   as "*foo*", so you can leave out * completely to search a part of a name.
   For name start comparison, say "\foo" (finds foo.txt but not anyfoo.txt).

   When you supply a directory name, by default this means "take all files".

      sfk list mydir                lists ALL  files of mydir, no * needed.
      sfk list mydir .cpp .hpp      lists SOME files of mydir, by extension.
      sfk list mydir !.cfg          lists all  files of mydir  EXCEPT .cfg

   general options:
      -tracesel tells in detail which files and/or directories are included
                or excluded, and why (due to which user-supplied mask).
      -nosub    do not process files within subdirectories.
      -nocol    before any command switches off color output.
      -quiet    or -nohead shows less output on some commands.
      -hidden   includes hidden and system files and dirs.
      For detailed help on all options, type "sfk help options".

   beware of Shell Command Characters.
      command parameters containing characters < > | ! & must be sur-
      rounded by quotes "". type "sfk filter" for details and examples.

   type "sfk ask word1 word2 ..."   to search ALL help text for words.
   type "sfk dumphelp"              to print  ALL help text.

EDIT: un mot d'avertissement: soyez prudent lorsque vous l'exécutez sur des dossiers contenant des fichiers binaires, car cela détruira efficacement vos fichiers, en particulier les répertoires .git . Si tel est votre cas, n'exécutez pas sfk dans tout le dossier, mais sélectionnez plutôt des extensions de fichier spécifiques (* .rb, * .py, etc.). Exemple:sfk remcr -dir chef -file .rb -file .json -file .erb -file .md


Fonctionne très bien sur OSX Mavericks. Pas besoin d'installer quoi que ce soit, exécutez simplement le script à partir du dmg monté et votre terminal semble prêt à fonctionner.
Nate Cook

@Gui Ambros Vous n'avez pas à vous soucier des fichiers dans le dossier .git. sfk ne met pas à jour les fichiers dans les dossiers cachés par défaut.
bittusarkar

1
@bittusarkar: Au moment de ma réponse, sfkj'ai traité efficacement tout mon dossier .git et détruit un tas de binaires (d'où ma modification ; je ne me souviens pas si c'était Linux ou Mac). Ils ont peut-être changé le comportement par défaut dans les versions plus récentes, mais je recommanderais quand même de spécifier l'extension, pour être sûr.
Gui Ambros

1
Cela a bien fonctionné pour moi, après avoir passé trop de temps à essayer de normaliser mes dépôts en utilisant les commandes git recommandées qui ne corrigeaient tout simplement pas tous les fichiers pertinents.
angularsen

1
Merci! Je viens de l'utiliser pour convertir tout un tas de fichiers rapidement et sans douleur et maintenant je peux les ajouter à la zone de transit dans Git. Sous OSX 10.9.5, et je ne sais pas où les fichiers ont été créés.
ryanwc

16
find . -not \( -name .svn -prune -o -name .git -prune \) -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

C'est beaucoup plus sûr car cela évite de corrompre votre dépôt git. Ajoutez ou remplacez .git, .svn par .bzr, .hg ou tout autre contrôle de source que vous utilisez dans la liste non .


3
C'est la meilleure réponse si vous n'avez pas eu à installer quoi que ce soit comme dos2unix. Permet l'exclusion des types de fichiers et évite de corrompre les fichiers de code source.
Raghavan

10

Sur OS X, cela a fonctionné pour moi:

find ./ -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

Attention: veuillez sauvegarder votre répertoire avant d'exécuter cette commande.


5
Je veux juste noter que cela a corrompu mon référentiel git. J'ai réessayé en déplaçant le dossier .git avant de l'exécuter et en le replaçant ensuite avec un meilleur succès.
garie

1
Je noterai également que cela n'exclut pas les fichiers binaires, donc cela corrompra par exemple vos jpgs.
Niek

0

Voici une solution si vous utilisez sed:

find . -type f -exec sed -i 's/\r$//' {} \;

-i signifie en place, si vous souhaitez créer une sauvegarde, utilisez également -i.bak

's/\r$//'remplacera tous les retours chariot ( \r) à la fin de chaque ligne

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.