Python concaténer des fichiers texte

J'ai une liste de 20 noms de fichiers, comme ['file1.txt', 'file2.txt', ...]. Je souhaite écrire un script Python pour concaténer ces fichiers dans un nouveau fichier. Je pourrais ouvrir chaque fichier f = open(...), lire ligne par ligne en appelant f.readline()et écrire chaque ligne dans ce nouveau fichier. Cela ne me paraît pas très "élégant", surtout la partie où je dois lire // écrire ligne par ligne.

Existe-t-il une manière plus "élégante" de faire cela en Python?

Cela devrait le faire

Pour les gros fichiers:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            for line in infile:
                outfile.write(line)

Pour les petits fichiers:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            outfile.write(infile.read())

… Et un autre intéressant auquel j'ai pensé :

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for line in itertools.chain.from_iterable(itertools.imap(open, filnames)):
        outfile.write(line)

Malheureusement, cette dernière méthode laisse quelques descripteurs de fichiers ouverts, dont le GC devrait de toute façon s'occuper. J'ai juste pensé que c'était intéressant

Utilisez shutil.copyfileobj.

Il lit automatiquement les fichiers d'entrée bloc par bloc pour vous, ce qui est plus efficace et lit les fichiers d'entrée et fonctionnera même si certains des fichiers d'entrée sont trop volumineux pour tenir en mémoire:

import shutil

with open('output_file.txt','wb') as wfd:
    for f in ['seg1.txt','seg2.txt','seg3.txt']:
        with open(f,'rb') as fd:
            shutil.copyfileobj(fd, wfd)

C'est exactement à quoi sert fileinput :

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

Pour ce cas d'utilisation, ce n'est vraiment pas beaucoup plus simple que de simplement itérer manuellement sur les fichiers, mais dans d'autres cas, avoir un seul itérateur qui itère sur tous les fichiers comme s'il s'agissait d'un seul fichier est très pratique. (De plus, le fait de fileinputfermer chaque fichier dès que c'est fait signifie qu'il n'y a pas besoin de withou closechacun d'eux, mais ce n'est qu'une économie d'une ligne, pas si grave.)

Il existe d'autres fonctionnalités intéressantes fileinput, comme la possibilité de modifier sur place des fichiers simplement en filtrant chaque ligne.

Comme indiqué dans les commentaires, et discuté dans un autre article , fileinputpour Python 2.7 ne fonctionnera pas comme indiqué. Voici une légère modification pour rendre le code compatible Python 2.7

with open('outfilename', 'w') as fout:
    fin = fileinput.input(filenames)
    for line in fin:
        fout.write(line)
    fin.close()

Je ne connais pas l'élégance, mais cela fonctionne:

    import glob
    import os
    for f in glob.glob("file*.txt"):
         os.system("cat "+f+" >> OutFile.txt")

Quel est le problème avec les commandes UNIX? (étant donné que vous ne travaillez pas sous Windows):

ls | xargs cat | tee output.txt fait le travail (vous pouvez l'appeler depuis python avec un sous-processus si vous le souhaitez)

outfile.write(infile.read()) # time: 2.1085190773010254s
shutil.copyfileobj(fd, wfd, 1024*1024*10) # time: 0.60599684715271s

Un simple benchmark montre que le shutil fonctionne mieux.

Une alternative à la réponse @ inspectorG4dget (meilleure réponse à ce jour 29-03-2016). J'ai testé avec 3 fichiers de 436 Mo.

@ solution inspectorG4dget: 162 secondes

La solution suivante: 125 secondes

from subprocess import Popen
filenames = ['file1.txt', 'file2.txt', 'file3.txt']
fbatch = open('batch.bat','w')
str ="type "
for f in filenames:
    str+= f + " "
fbatch.write(str + " > file4results.txt")
fbatch.close()
p = Popen("batch.bat", cwd=r"Drive:\Path\to\folder")
stdout, stderr = p.communicate()

L'idée est de créer un fichier batch et de l'exécuter en tirant parti de la «vieille bonne technologie». Son semi-python mais fonctionne plus vite. Fonctionne pour Windows.

Si vous avez beaucoup de fichiers dans le répertoire, il glob2peut être préférable de générer une liste de noms de fichiers plutôt que de les écrire à la main.

import glob2

filenames = glob2.glob('*.txt')  # list of all .txt files in the directory

with open('outfile.txt', 'w') as f:
    for file in filenames:
        with open(file) as infile:
            f.write(infile.read()+'\n')

Découvrez la méthode .read () de l'objet File:

http://docs.python.org/2/tutorial/inputoutput.html#methods-of-file-objects

Vous pouvez faire quelque chose comme:

concat = ""
for file in files:
    concat += open(file).read()

ou une façon python plus `` élégante '':

concat = ''.join([open(f).read() for f in files])

qui, selon cet article: http://www.skymind.com/~ocrow/python_string/ serait également le plus rapide.

Si les fichiers ne sont pas gigantesques:

with open('newfile.txt','wb') as newf:
    for filename in list_of_files:
        with open(filename,'rb') as hf:
            newf.write(hf.read())
            # newf.write('\n\n\n')   if you want to introduce
            # some blank lines between the contents of the copied files

Si les fichiers sont trop gros pour être entièrement lus et conservés en RAM, l'algorithme doit être un peu différent pour lire chaque fichier à copier en boucle par morceaux de longueur fixe, en utilisant read(10000)par exemple.

def concatFiles():
    path = 'input/'
    files = os.listdir(path)
    for idx, infile in enumerate(files):
        print ("File #" + str(idx) + "  " + infile)
    concat = ''.join([open(path + f).read() for f in files])
    with open("output_concatFile.txt", "w") as fo:
        fo.write(path + concat)

if __name__ == "__main__":
    concatFiles()

  import os
  files=os.listdir()
  print(files)
  print('#',tuple(files))
  name=input('Enter the inclusive file name: ')
  exten=input('Enter the type(extension): ')
  filename=name+'.'+exten
  output_file=open(filename,'w+')
  for i in files:
    print(i)
    j=files.index(i)
    f_j=open(i,'r')
    print(f_j.read())
    for x in f_j:
      outfile.write(x)