Ajouter des fichiers énormes les uns aux autres sans les copier

Il y a 5 fichiers énormes (fichier1, fichier2, .. fichier5) environ 10G chacun et très peu d'espace libre sur le disque et j'ai besoin de concaténer tous ces fichiers en un seul. Il n'est pas nécessaire de conserver les fichiers originaux, mais uniquement les fichiers finaux.

La concaténation habituelle va avec caten séquence pour les fichiers file2.. file5:

cat file2 >> file1 ; rm file2

Malheureusement, cette façon nécessite au moins 10G d'espace libre que je n'ai pas. Existe-t-il un moyen de concaténer des fichiers sans les copier, mais en indiquant au système de fichiers que le fichier1 ne se termine pas à la fin du fichier original1 et continue au début du fichier2?

ps. Le système de fichiers est ext4 si cela compte.

Autant que je sache, il n’est (malheureusement) pas possible de tronquer un fichier depuis le début (cela peut être vrai pour les outils standard mais pour le niveau appel système, voir ici ). Mais en ajoutant une certaine complexité, vous pouvez utiliser la troncature normale (avec les fichiers fragmentés): vous pouvez écrire à la fin du fichier cible sans avoir écrit toutes les données entre les deux.

Supposons d’abord que les deux fichiers ont exactement 5 Gio (5120 Mio) et que vous souhaitez déplacer 100 Mio à la fois. Vous exécutez une boucle qui consiste en

1. copie d'un bloc de la fin du fichier source à la fin du fichier cible (augmentation de l'espace disque utilisé)

2. tronquer le fichier source d'un bloc (libérer de l'espace disque)

   for((i=5119;i>=0;i--)); do
     dd if=sourcefile of=targetfile bs=1M skip="$i" seek="$i" count=1
     dd if=/dev/zero of=sourcefile bs=1M count=0 seek="$i"
   done
   

Mais essayez d'abord avec des fichiers de test plus petits, s'il vous plaît ...

Les fichiers ne sont probablement ni de la même taille ni des multiples de la taille du bloc. Dans ce cas, le calcul des compensations devient plus compliqué. seek_byteset skip_bytesdevrait être utilisé alors.

Si c'est ce que vous voulez faire mais que vous avez besoin d'aide pour les détails, demandez à nouveau.

Attention

En fonction de la ddtaille du bloc, le fichier résultant sera un cauchemar de fragmentation.

Au lieu de regrouper les fichiers en un seul fichier, simulez peut-être un seul fichier avec un canal nommé, si votre programme ne peut pas gérer plusieurs fichiers.

mkfifo /tmp/file
cat file* >/tmp/file &
blahblah /tmp/file
rm /tmp/file

Comme le suggère Hauke, losetup / dmsetup peut également fonctionner. Une expérience rapide; J'ai créé 'file1..file4' et avec un peu d'effort, j'ai:

for i in file*;do losetup -f ~/$i;done

numchunks=3
for i in `seq 0 $numchunks`; do
        sizeinsectors=$((`ls -l file$i | awk '{print $5}'`/512))
        startsector=$(($i*$sizeinsectors))
        echo "$startsector $sizeinsectors linear /dev/loop$i 0"
done | dmsetup create joined

Ensuite, / dev / dm-0 contient un périphérique de bloc virtuel avec votre fichier en tant que contenu.

Je n'ai pas bien testé.

Autre édition: la taille du fichier doit être divisible par 512. Dans le cas contraire, vous perdrez certaines données. Si c'est le cas, ça va. Je vois qu'il a également noté cela ci-dessous.

Vous devrez écrire quelque chose qui copie les données dans des groupes dont la taille est au plus égale à la quantité d'espace libre dont vous disposez. Cela devrait fonctionner comme ceci:

• Lire un bloc de données à partir de file2(utiliser pread()en cherchant avant la lecture au bon endroit).
• Ajouter le bloc à file1.
• Utilisez fcntl(F_FREESP)pour désallouer l'espace de file2.
• Répéter

Je sais que c'est plus une solution de contournement que ce que vous avez demandé, mais cela réglerait votre problème (et avec un minimum de fragmentation ou de blessure à la tête):

#step 1
mount /path/to/... /the/new/fs #mount a new filesystem (from NFS? or an external usb disk?)

et alors

#step 2:
cat file* > /the/new/fs/fullfile

ou, si vous pensez que la compression aiderait:

#step 2 (alternate):
cat file* | gzip -c - > /the/new/fs/fullfile.gz

Alors (et UNIQUEMENT alors), enfin

#step 3:
rm file*
mv /the/new/fs/fullfile  .   #of fullfile.gz if you compressed it