Trier le contenu d'un fichier texte extrêmement volumineux (800 Go) sous Windows

J'ai un fichier texte avec un mot dans chaque ligne, la taille du fichier est de 800 Go. J'ai besoin de trier les mots par ordre alphabétique.

J'ai essayé d'utiliser le programme de tri Windows en utilisant:

sort.exe input.txt /o output.txt

ce qui donne l'erreur: Pas assez de mémoire principale pour terminer le tri.

J'ai 32 Go de RAM, donc lorsque j'essaie de spécifier 10 Go de mémoire pour le tri en utilisant:

sort.exe input.txt /o output.txt /M 10000000

Je reçois:

Avertissement: la taille de mémoire spécifiée est réduite à la mémoire de pagination disponible.

L'enregistrement d'entrée dépasse la longueur maximale. Spécifiez un maximum plus grand.

Quelles sont mes options?

Quelles sont mes options?

Essayez Freeware Command Line Sort Utility CMSort .

Il utilise plusieurs fichiers temporaires, puis les fusionne à la fin.

CMsort lit les enregistrements d'un fichier d'entrée jusqu'à ce que la mémoire ajustée soit atteinte. Les enregistrements sont ensuite triés et écrits dans un fichier temporaire. Cette opération sera répétée jusqu'à ce que tous les enregistrements soient traités. Enfin, tous les fichiers temporaires sont fusionnés dans le fichier de sortie. Si la mémoire disponible est suffisante, aucun fichier temporaire n'est écrit et aucune fusion n'est nécessaire.

Un utilisateur signale qu'il a trié un fichier de 130 000 000 octets.

Si vous souhaitez modifier vous-même du code, il existe également Tri de fichiers texte volumineux - CodeProject - "Algorithme de tri des lignes dans les fichiers texte dont la taille dépasse la mémoire disponible"

Une autre option consiste à charger le fichier dans une base de données. EG MySQL et MySQL Workbench.
Les bases de données sont des candidats parfaits pour travailler avec des fichiers volumineux

Si votre fichier d'entrée ne contient que des mots séparés par une nouvelle ligne, cela ne devrait pas être trop difficile.

Après avoir installé la base de données et MySQL Workbench, voici ce que vous devez faire.
Créez d'abord le schéma (cela suppose que les mots ne dépasseront pas 255 caractères, bien que vous puissiez modifier cela en augmentant la valeur de l'argument). La première colonne "idwords" est une clé primaire.

CREATE SCHEMA `tmp` ;

CREATE TABLE `tmp`.`words` (
  `idwords` INT NOT NULL AUTO_INCREMENT,
  `mywords` VARCHAR(255) NULL,
  PRIMARY KEY (`idwords`));

Ensuite, importez les données: EG Cela importera tous les mots dans le tableau (cette étape peut prendre un certain temps. Mon conseil serait de lancer un test avec un petit fichier de mots d'abord et une fois que vous êtes sûr que le format est le même que le plus grand (tronquez le tableau .. IE Effacez-le et chargez l'ensemble de données complet).

LOAD DATA LOCAL INFILE "C:\\words.txt" INTO TABLE tmp.words
LINES TERMINATED BY '\r\n'
(mywords);

Ce lien peut aider à obtenir le bon format pour la charge. https://dev.mysql.com/doc/refman/5.7/en/load-data.html
EG Si vous aviez besoin de sauter la première ligne, vous feriez ce qui suit.

LOAD DATA LOCAL INFILE "H:\\words.txt" INTO TABLE tmp.words
-- FIELDS TERMINATED BY ','
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES
(mywords);

Enfin, enregistrez le fichier trié. Cela peut prendre un certain temps en fonction de votre ordinateur.

SELECT tmp.words.mywords
FROM tmp.words
order by tmp.words.mywords asc
INTO OUTFILE 'C:\\sorted_words.csv';

Vous pouvez également rechercher les données à votre guise. EG Cela vous donnera les 50 premiers mots dans l'ordre croissant (à partir du 0e ou du premier mot).

SELECT tmp.words.mywords
FROM tmp.words
order by tmp.words.mywords asc
LIMIT 0, 50 ;

Bonne chance
Pete

sort

Il existe de nombreux algorithmes utilisés pour trier les fichiers ordonnés et non ordonnés ^{[ 1 ]} .
Puisque tous ces algorithmes sont déjà implémentés, choisissez un programme déjà testé.

Dans coreutils (à partir de Linux mais également disponible pour Windows ^{[ 2 ]} ), il existe la sortcommande capable de s'exécuter en parallèle sous des processeurs multi-cœurs: généralement c'est suffisant.

Si votre fichier est si volumineux, vous pouvez aider au traitement du fractionnement ( split -l), du fichier dans certains morceaux, en utilisant éventuellement l'option parallèle ( --parallel), et en triant les morceaux ordonnés résultants avec l' -moption ( tri par fusion ).
Une des nombreuses façons de le faire est expliquée ici (fichier divisé, commander des morceaux simples, fusionner des morceaux ordonnés, supprimer des fichiers temporaires).

Remarques:

• Dans Windows 10, il existe ce qu'on appelle le sous-système Windows pour Linux dans lequel tout l'exemple Linux semblera plus naturel.
• Le tri avec différents algorithmes a des temps d'exécution différents qui évoluent en fonction du nombre d'entrées à trier (O (n ^m ), O (nlogn) ...).
• L'efficacité de l'algorithme dépend de l'ordre déjà présent dans le fichier d'origine.
  (Par exemple, un tri à bulles est l'algorithme le plus rapide pour un fichier déjà ordonné - exactement N -, mais il n'est pas efficace dans d'autres cas).

Pour offrir une solution alternative à Peter H, il existe un programme q qui autorise les commandes de style SQL contre les fichiers texte. La commande ci-dessous ferait de même (exécutée à partir de l'invite de commande dans le même répertoire que le fichier), sans avoir besoin d'installer SQL Workbench ou de créer des tables.

q "select * from words.txt order by c1"

c1 est un raccourci pour la colonne 1.

Vous pouvez exclure les mots en double avec

q "select distinct c1 from words.txt order by c1"

et envoyer la sortie vers un autre fichier

q "select distinct c1 from words.txt order by c1" > sorted.txt

Si les mots de chaque ligne proviennent d'un vocabulaire limité (comme l'anglais), vous pouvez trier la liste en O (n + m log m) en utilisant une TreeMap et en comptant les enregistrements (où m est le nombre de valeurs uniques).

Sinon, vous pouvez utiliser le grand trieur de la bibliothèque java . Il divise l'entrée en fichiers intermédiaires triés et les fusionne efficacement (O global (nlogn)). Pour trier votre fichier ressemble à ceci:

Sorter.serializerTextUtf8()
      .input(inputFile)
      .output(outputFile)
      .loggerStdOut() // display some progress
      .sort();

J'ai créé un fichier de 1,7 Go (100 m de lignes) avec des mots de 16 caractères générés de manière aléatoire et trié comme ci-dessus en 142 secondes et en fonction de la complexité de calcul O (n log n) de la méthode que j'utilise, j'estime que 800 Go de mots de 16 caractères seraient prendre environ 24 heures pour trier un seul thread sur mon ordinateur portable i5 2,3 GHz avec SSD.