Comment lire un gros fichier ligne par ligne?

Je veux lire un fichier ligne par ligne, mais sans le charger complètement en mémoire.

Mon fichier est trop volumineux pour être ouvert en mémoire, et si j'essaie de le faire, je sors toujours des erreurs de mémoire.

La taille du fichier est de 1 Go.

Vous pouvez utiliser la fgets()fonction pour lire le fichier ligne par ligne:

$handle = fopen("inputfile.txt", "r");
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        // process the line read.
    }

    fclose($handle);
} else {
    // error opening the file.
} 

if ($file = fopen("file.txt", "r")) {
    while(!feof($file)) {
        $line = fgets($file);
        # do same stuff with the $line
    }
    fclose($file);
}

Vous pouvez utiliser une classe d'interface orientée objet pour un fichier - SplFileObject http://php.net/manual/en/splfileobject.fgets.php (PHP 5> = 5.1.0)

<?php

$file = new SplFileObject("file.txt");

// Loop until we reach the end of the file.
while (!$file->eof()) {
    // Echo one line from the file.
    echo $file->fgets();
}

// Unset the file to call __destruct(), closing the file handle.
$file = null;

Si vous ouvrez un gros fichier, vous voudrez probablement utiliser Generators à côté de fgets () pour éviter de charger tout le fichier en mémoire:

/**
 * @return Generator
 */
$fileData = function() {
    $file = fopen(__DIR__ . '/file.txt', 'r');

    if (!$file)
        die('file does not exist or cannot be opened');

    while (($line = fgets($file)) !== false) {
        yield $line;
    }

    fclose($file);
};

Utilisez-le comme ceci:

foreach ($fileData() as $line) {
    // $line contains current line
}

De cette façon, vous pouvez traiter des lignes de fichiers individuelles à l'intérieur de foreach ().

Remarque: les générateurs nécessitent> = PHP 5.5

Utilisez des techniques de mise en mémoire tampon pour lire le fichier.

$filename = "test.txt";
$source_file = fopen( $filename, "r" ) or die("Couldn't open $filename");
while (!feof($source_file)) {
    $buffer = fread($source_file, 4096);  // use a buffer of 4KB
    $buffer = str_replace($old,$new,$buffer);
    ///
}

Il existe une file()fonction qui renvoie un tableau des lignes contenues dans le fichier.

foreach(file('myfile.txt') as $line) {
   echo $line. "\n";
}

foreach (new SplFileObject(__FILE__) as $line) {
    echo $line;
}

La réponse évidente n'était pas là dans toutes les réponses.
PHP a un analyseur délimiteur de streaming soigné disponible spécialement conçu à cet effet.

$fp = fopen("/path/to/the/file", "r+");
while ($line = stream_get_line($fp, 1024 * 1024, "\n")) {
  echo $line;
}
fclose($fp);

Soyez prudent avec le truc 'while (! Feof ... fgets ()', fgets peut obtenir une erreur (returnfing false) et boucler indéfiniment sans atteindre la fin du fichier. Codaddict était le plus proche d'être correct mais quand votre 'while fgets' boucle se termine, vérifiez feof; si ce n'est pas vrai, alors vous avez eu une erreur.

C'est comme ça que je gère avec un très gros fichier (testé jusqu'à 100G). Et c'est plus rapide que fgets ()

$block =1024*1024;//1MB or counld be any higher than HDD block_size*2
if ($fh = fopen("file.txt", "r")) { 
    $left='';
    while (!feof($fh)) {// read the file
       $temp = fread($fh, $block);  
       $fgetslines = explode("\n",$temp);
       $fgetslines[0]=$left.$fgetslines[0];
       if(!feof($fh) )$left = array_pop($lines);           
       foreach ($fgetslines as $k => $line) {
           //do smth with $line
        }
     }
}
fclose($fh);

L'une des solutions populaires à cette question aura des problèmes avec le nouveau caractère de ligne. Il peut être fixé assez facilement avec un simple str_replace.

$handle = fopen("some_file.txt", "r");
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        $line = str_replace("\n", "", $line);
    }
    fclose($handle);
}

SplFileObject est utile lorsqu'il s'agit de traiter des fichiers volumineux.

function parse_file($filename)
{
    try {
        $file = new SplFileObject($filename);
    } catch (LogicException $exception) {
        die('SplFileObject : '.$exception->getMessage());
    }
    while ($file->valid()) {
        $line = $file->fgets();
        //do something with $line
    }

    //don't forget to free the file handle.
    $file = null;
}

<?php
echo '<meta charset="utf-8">';

$k= 1;
$f= 1;
$fp = fopen("texttranslate.txt", "r");
while(!feof($fp)) {
    $contents = '';
    for($i=1;$i<=1500;$i++){
        echo $k.' -- '. fgets($fp) .'<br>';$k++;
        $contents .= fgets($fp);
    }
    echo '<hr>';
    file_put_contents('Split/new_file_'.$f.'.txt', $contents);$f++;
}
?>

Fonction à lire avec retour de tableau

function read_file($filename = ''){
    $buffer = array();
    $source_file = fopen( $filename, "r" ) or die("Couldn't open $filename");
    while (!feof($source_file)) {
        $buffer[] = fread($source_file, 4096);  // use a buffer of 4KB
    }
    return $buffer;
}