Rechercher et remplacer une ligne dans un fichier en Python

Je veux parcourir le contenu d'un fichier texte et faire une recherche et remplacer sur certaines lignes et écrire le résultat dans le fichier. Je pourrais d'abord charger le fichier entier en mémoire puis le réécrire, mais ce n'est probablement pas la meilleure façon de le faire.

Quelle est la meilleure façon de procéder, dans le code suivant?

f = open(file)
for line in f:
    if line.contains('foo'):
        newline = line.replace('foo', 'bar')
        # how to write this newline back to the file

Je suppose que quelque chose comme ça devrait le faire. Il écrit essentiellement le contenu dans un nouveau fichier et remplace l'ancien fichier par le nouveau fichier:

from tempfile import mkstemp
from shutil import move, copymode
from os import fdopen, remove

def replace(file_path, pattern, subst):
    #Create temp file
    fh, abs_path = mkstemp()
    with fdopen(fh,'w') as new_file:
        with open(file_path) as old_file:
            for line in old_file:
                new_file.write(line.replace(pattern, subst))
    #Copy the file permissions from the old file to the new file
    copymode(file_path, abs_path)
    #Remove original file
    remove(file_path)
    #Move new file
    move(abs_path, file_path)

Le moyen le plus court serait probablement d'utiliser le module d'entrée de fichier . Par exemple, ce qui suit ajoute des numéros de ligne à un fichier, sur place:

import fileinput

for line in fileinput.input("test.txt", inplace=True):
    print('{} {}'.format(fileinput.filelineno(), line), end='') # for Python 3
    # print "%d: %s" % (fileinput.filelineno(), line), # for Python 2

Ce qui se passe ici est:

1. Le fichier d'origine est déplacé vers un fichier de sauvegarde
2. La sortie standard est redirigée vers le fichier d'origine dans la boucle
3. Ainsi, toutes les printinstructions sont réécrites dans le fichier d'origine

fileinputa plus de cloches et de sifflets. Par exemple, il peut être utilisé pour fonctionner automatiquement sur tous les fichiers de sys.args[1:], sans que vous ayez à les parcourir explicitement. À partir de Python 3.2, il fournit également un gestionnaire de contexte pratique à utiliser dans une withinstruction.

Bien qu'il fileinputsoit idéal pour les scripts jetables, je me méfierais de l'utiliser dans du vrai code car il est vrai qu'il n'est pas très lisible ou familier. Dans le code réel (de production), il vaut la peine de dépenser quelques lignes de code supplémentaires pour rendre le processus explicite et ainsi rendre le code lisible.

Il y a deux options:

1. Le fichier n'est pas trop volumineux et vous pouvez simplement le lire entièrement en mémoire. Fermez ensuite le fichier, rouvrez-le en mode écriture et réécrivez le contenu modifié.
2. Le fichier est trop volumineux pour être stocké en mémoire; vous pouvez le déplacer vers un fichier temporaire et l'ouvrir, en le lisant ligne par ligne, en le réécrivant dans le fichier d'origine. Notez que cela nécessite deux fois le stockage.

Voici un autre exemple qui a été testé et qui correspondra aux modèles de recherche et de remplacement:

import fileinput
import sys

def replaceAll(file,searchExp,replaceExp):
    for line in fileinput.input(file, inplace=1):
        if searchExp in line:
            line = line.replace(searchExp,replaceExp)
        sys.stdout.write(line)

Exemple d'utilisation:

replaceAll("/fooBar.txt","Hello\sWorld!$","Goodbye\sWorld.")

Cela devrait fonctionner: (édition sur place)

import fileinput

# Does a list of files, and
# redirects STDOUT to the file in question
for line in fileinput.input(files, inplace = 1): 
      print line.replace("foo", "bar"),

Basé sur la réponse de Thomas Watnedal. Cependant, cela ne répond pas exactement à la partie ligne à ligne de la question d'origine. La fonction peut toujours être remplacée ligne par ligne

Cette implémentation remplace le contenu du fichier sans utiliser de fichiers temporaires, par conséquent les autorisations de fichier restent inchangées.

Aussi re.sub au lieu de replace, permet le remplacement regex au lieu du remplacement en texte brut uniquement.

La lecture du fichier sous la forme d'une chaîne unique au lieu d'une ligne par ligne permet une correspondance et un remplacement sur plusieurs lignes.

import re

def replace(file, pattern, subst):
    # Read contents from file as a single string
    file_handle = open(file, 'r')
    file_string = file_handle.read()
    file_handle.close()

    # Use RE package to allow for replacement (also allowing for (multiline) REGEX)
    file_string = (re.sub(pattern, subst, file_string))

    # Write contents to file.
    # Using mode 'w' truncates the file.
    file_handle = open(file, 'w')
    file_handle.write(file_string)
    file_handle.close()

Comme le suggère lassevk, écrivez le nouveau fichier au fur et à mesure, voici un exemple de code:

fin = open("a.txt")
fout = open("b.txt", "wt")
for line in fin:
    fout.write( line.replace('foo', 'bar') )
fin.close()
fout.close()

Si vous voulez une fonction générique qui remplace n'importe quel texte par un autre texte, c'est probablement la meilleure façon de procéder, en particulier si vous êtes un fan des expressions régulières:

import re
def replace( filePath, text, subs, flags=0 ):
    with open( filePath, "r+" ) as file:
        fileContents = file.read()
        textPattern = re.compile( re.escape( text ), flags )
        fileContents = textPattern.sub( subs, fileContents )
        file.seek( 0 )
        file.truncate()
        file.write( fileContents )

Une manière plus pythonique serait d'utiliser des gestionnaires de contexte comme le code ci-dessous:

from tempfile import mkstemp
from shutil import move
from os import remove

def replace(source_file_path, pattern, substring):
    fh, target_file_path = mkstemp()
    with open(target_file_path, 'w') as target_file:
        with open(source_file_path, 'r') as source_file:
            for line in source_file:
                target_file.write(line.replace(pattern, substring))
    remove(source_file_path)
    move(target_file_path, source_file_path)

Vous pouvez trouver l'extrait complet ici .

Créez un nouveau fichier, copiez les lignes de l'ancien vers le nouveau et effectuez le remplacement avant d'écrire les lignes dans le nouveau fichier.

En développant la réponse de @ Kiran, qui, je suis d'accord, est plus succincte et Pythonic, cela ajoute des codecs pour prendre en charge la lecture et l'écriture de l'UTF-8:

import codecs 

from tempfile import mkstemp
from shutil import move
from os import remove


def replace(source_file_path, pattern, substring):
    fh, target_file_path = mkstemp()

    with codecs.open(target_file_path, 'w', 'utf-8') as target_file:
        with codecs.open(source_file_path, 'r', 'utf-8') as source_file:
            for line in source_file:
                target_file.write(line.replace(pattern, substring))
    remove(source_file_path)
    move(target_file_path, source_file_path)

En utilisant la réponse de hamishmcn comme modèle, j'ai pu rechercher une ligne dans un fichier qui correspond à mon expression régulière et la remplacer par une chaîne vide.

import re 

fin = open("in.txt", 'r') # in file
fout = open("out.txt", 'w') # out file
for line in fin:
    p = re.compile('[-][0-9]*[.][0-9]*[,]|[-][0-9]*[,]') # pattern
    newline = p.sub('',line) # replace matching strings with empty string
    print newline
    fout.write(newline)
fin.close()
fout.close()

fileinput est assez simple comme mentionné dans les réponses précédentes:

import fileinput

def replace_in_file(file_path, search_text, new_text):
    with fileinput.input(file_path, inplace=True) as f:
        for line in f:
            new_line = line.replace(search_text, new_text)
            print(new_line, end='')

Explication:

• fileinputpeut accepter plusieurs fichiers, mais je préfère fermer chaque fichier dès qu'il est en cours de traitement. Donc placé seul file_pathdans la withdéclaration.
• printL'instruction n'imprime rien quand inplace=True, car elle STDOUTest transmise au fichier d'origine.
• end=''dans l' printinstruction est d'éliminer les nouvelles lignes vierges intermédiaires.

Peut être utilisé comme suit:

file_path = '/path/to/my/file'
replace_in_file(file_path, 'old-text', 'new-text')

si vous supprimez le retrait comme ci-dessous, il recherchera et remplacera sur plusieurs lignes. Voir ci-dessous par exemple.

def replace(file, pattern, subst):
    #Create temp file
    fh, abs_path = mkstemp()
    print fh, abs_path
    new_file = open(abs_path,'w')
    old_file = open(file)
    for line in old_file:
        new_file.write(line.replace(pattern, subst))
    #close temp file
    new_file.close()
    close(fh)
    old_file.close()
    #Remove original file
    remove(file)
    #Move new file
    move(abs_path, file)