Quelle est la meilleure façon de télécharger tous les fichiers depuis Google Cloud Storage?
Quelle est la meilleure façon de télécharger tous les fichiers depuis Google Cloud Storage?
Réponses:
Jetez un œil à l' outil gsutil . Vous pouvez utiliser la commande cp avec les options -R
(récursif) et -m
(multithreading).
gsutil -m cp -R gs://<bucket_name> .
Et si vous voulez l'essayer avec un seau public, essayez
gsutil -m cp -R gs://uspto-pair .
L'accélération accordée par le multithreading peut être assez importante:
$ time gsutil cp -R gs://uspto-pair/docs/2010-08-28 .
...
real 0m12.534s
contre
$ time gsutil -m cp -R gs://uspto-pair/docs/2010-08-28 .
...
real 0m3.345s
-m
indicateur pour le multi-threading. Cela réduira considérablement le temps de réponse du disque car il déplacera continuellement les aiguilles entre les différents fichiers. J'ai essayé d'utiliser -m
au début, seulement pour que le disque devienne le goulot d'étranglement. L'omission de l' -m
indicateur maintiendra l'écriture du disque dur dans le même emplacement physique sur le disque.
Pour ceux qui souhaitent éviter d'installer des outils locaux tels que gsutil
, il existe un moyen de télécharger des fichiers et des dossiers à partir de Google Cloud Storage entièrement dans le navigateur:
mkdir Data
Data
dossier temporaire :gsutil -m cp -R gs://BUCKET_NAME/FOLDER_OR_FILE_PATH ./Data
zip -r Data.zip Data
dl Data.zip
, ou en ouvrant le menu déroulant "..." dans la barre d'outils, en appuyant sur "Télécharger le fichier", en tapant Data.zip
et en appuyant sur "Télécharger".Comme alternative aux étapes 6 et 7 (ou si vous voulez un fichier tar au lieu d'un zip):
. . 6b. Appuyez sur l'icône de l'ordinateur (ou sur le crayon) dans la barre d'outils pour ouvrir l'explorateur de l'environnement Cloud Shell dans un nouvel onglet.
. . 7b. Cliquez avec le bouton droit sur le Data
dossier dans le navigateur de répertoires à gauche et appuyez sur "Télécharger". Un fichier tar sera téléchargé sur votre machine locale, que vous pourrez ensuite extraire à l'aide de 7-Zip ou autre.
Si vous gsutil
lancez une exception ( CommandException: Wrong number of arguments for "cp" command.
), essayez ce qui suit:
gsutil -m cp -R gs://BUCKETNAME ./LOCALFOLDERNAME
Dans mon cas, ce qui a fonctionné était de naviguer vers le seau dans l'interface graphique du navigateur et de cliquer avec le bouton gauche sur le fichier et sur "Enregistrer le fichier".
C'est évidemment terrible pour plusieurs fichiers, mais vous pouvez bien sûr les compresser dans un seul fichier (en utilisant la console google cloud).
voir ce fil.
De plus, si vous n'avez pas de compartiment, vous pouvez en créer un , puis le télécharger à l'aide de gcloud console, par exemplegsutil cp file.tgz gs://<bucket>
gsutil
sur votre machine locale: stackoverflow.com/a/59567734/2441655
Voici ce qui a fonctionné pour moi:
Étape 1: installez gsutil sur votre machine locale: https://cloud.google.com/storage/docs/gsutil_install?hl=fr
Étape 2: copiez les fichiers du bucket sur votre ordinateur local en exécutant la commande:gsutil cp [-r if repository] gs://[BUCKET_NAME]/[OBJECT_NAME] [OBJECT_DESTINATION_IN_LOCAL]