Déplacer des millions de fichiers vers un répertoire différent avec des modèles de noms spécifiques

J'ai des millions de fichiers avec la nomenclature suivante sur une machine Linux:

1559704165_a1ac6f55fef555ee.jpg

Les 10 premiers chiffres sont horodatés et ceux suivis d'un _sont des identifiants spécifiques. Je souhaite déplacer tous les fichiers correspondant à des ID de nom de fichier spécifiques dans un dossier différent.

J'ai essayé cela sur le répertoire avec des fichiers

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

Cependant, je reçois une erreur indiquant:

bash 1559704165_a1ac6f55fef555ee.jpg: command not found

Lorsque j'ai essayé, mv ??????????_a1ac*.jpg je reçois une liste d'arguments trop longue. J'ai au moins 15 modèles de nom de fichier différents. Comment les déplacer.

Tu devrais utiliser:

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' \
-exec mv -t destination "{}" +

maxdepth 1Cela signifie donc que vous ne souhaitez rechercher dans le répertoire actuel aucun sous-répertoire.

type f signifie trouver uniquement les fichiers.

name '??????????_a1ac*.jpg' est un modèle qui correspond au fichier que vous recherchez.

mv -t destination "{}" +signifie déplacer les fichiers correspondants vers la destination. Ici +ajoute de nouveaux fichiers correspondants au précédent comme:

mv -t dest a b c d

Ici abcd sont des fichiers différents.

Votre commande,

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

Pipes la liste de tous les fichiers vers tous les fichiers!

find . -maxdepth 1 -type f -name `*_a1ac*.jpg` -print0 |\
xargs  -0 -r mv -t "/home/ubuntu/ntest"

fera l'affaire.

Tu es très proche. Vous devez utiliser l' -nameoption pour find. Et n'oubliez pas de citer le motif.

Donc

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' |xargs mv -t "/home/ubuntu/ntest"

Pas aussi "bon" que les findsolutions, mais une autre solution valable est de rendre les mvcommandes plus granulaires.

Cela fait 4096 mouvements, avec moins de fichiers déplacés par mvopération.

FILEPAT=a1ac
for i in $(seq $((0x000)) $((0xfff))); 
do 
   H=$(printf '%x\n' $i)
   mv 1559704165_${FILEPAT}${H}*.jpg /home/ubuntu/ntest
done

Si vous souhaitez déplacer des fichiers sur le même système hôte, ce que je suppose que vous faites avec votre mv, rsyncpourrait être une option plus rapide:

rsync -av --inplace -W /source/??????????_a1ac*.jpg /home/ubuntu/ntest/

--inplaceet -Wsont configurés pour accélérer le processus.

Si cela donne une autre liste d'arguments erreur trop longue, vous pouvez alimenterrsync

Faites la liste avec find, par exemple

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' > /tmp/my_image_list.txt

et donnez-le à rsync

rsync -av --inplace -W --files-from=/tmp/my_image_list.txt /path/to/files /home/ubuntu/ntest/

La source ici est /path/to/files, car rsynctraitera la liste que vous lui donnez par rapport à votre source.

Le point étant: rsyncest plus rapide que mvsi les fichiers ne sont pas sur le même système de fichiers .