Copie gsutil renvoyant «AccessDeniedException: 403 Autorisation insuffisante» de GCE

Je suis connecté à une instance GCE via SSH. De là, je voudrais accéder au stockage à l'aide d'un compte de service:

GCE> gcloud auth list
Credentialed accounts:
 - 1234567890-compute@developer.gserviceaccount.com (active)

Je me suis d'abord assuré que ce compte de service était marqué "Peut modifier" dans les autorisations du projet dans lequel je travaille. Je me suis également assuré de lui donner la LCA d'écriture sur le bucket Je voudrais qu'il copie un fichier:

local> gsutil acl ch -u 1234567890-compute@developer.gserviceaccount.com:W gs://mybucket

Mais alors la commande suivante échoue:

GCE> gsutil cp test.txt gs://mybucket/logs

(Je me suis également assuré que "logs" est créé sous "mybucket").

Le message d'erreur que je reçois est:

Copying file://test.txt [Content-Type=text/plain]...
AccessDeniedException: 403 Insufficient Permission               0 B  

Qu'est-ce que je rate?

Une autre chose à rechercher est de vous assurer de configurer les étendues appropriées lors de la création de la machine virtuelle GCE. Même si une machine virtuelle est associée à un compte de service, des étendues devstorage doivent lui être attribuées afin d'accéder à GCS.

Par exemple, si vous avez créé votre VM avec une devstorage.read_onlyétendue, la tentative d'écriture dans un compartiment échouerait, même si votre compte de service est autorisé à écrire dans le compartiment. Vous auriez besoin de devstorage.full_controlou devstorage.read_write.

Consultez la section Préparation d'une instance pour utiliser des comptes de service pour plus de détails.

Remarque: le compte de service de calcul par défaut a des portées très limitées (y compris la lecture seule de GCS). Cela est fait car le compte de service par défaut dispose des autorisations IAM de l'éditeur de projet. Si vous utilisez un compte de service utilisateur, cela ne pose généralement pas de problème car les comptes de service créés par l'utilisateur obtiennent par défaut tous les accès à l'étendue.

Après avoir ajouté les étendues nécessaires à la machine virtuelle, gsutilvous pouvez toujours utiliser des informations d'identification mises en cache qui n'ont pas les nouvelles étendues. Supprimez ~/.gsutilavant de réessayer les commandes gsutil. (Merci à @mndrix pour l'avoir signalé dans les commentaires.)

Vous devez vous connecter avec un compte disposant des autorisations dont vous avez besoin pour ce projet:

gcloud auth login

gsutil config -b

Puis naviguez jusqu'à l'URL qu'il fournit, [CLIQUEZ Autoriser]

Copiez ensuite le code de vérification et collez-le dans le terminal.

J'ai écrit une réponse à cette question car je ne peux pas poster de commentaires:

Cette erreur peut également se produire si vous exécutez la gsutilcommande avec un sudopréfixe dans certains cas.

1. Arrêter la VM
2. got -> Détails de l'instance de VM.
3. dans "Champs d'application d'accès aux API Cloud", sélectionnez "Autoriser l'accès complet à toutes les API Cloud", puis cliquez sur "Enregistrer".
4. redémarrez la VM et supprimez ~ / .gsutil.

1. Après avoir créé le bucket, accédez à l'onglet autorisations, ajoutez votre e-mail et définissez l' autorisation d' administrateur de stockage .

2. Accéder à l'instance de VM via SSH >> exécuter la commande: gcloud auth login et suivez les étapes.

Réf: https://groups.google.com/d/msg/gce-discussion/0L6sLRjX8kg/kP47FklzBgAJ

J'ai donc essayé un tas de choses en essayant de copier du bucket GCS vers ma VM. J'espère que ce message aide quelqu'un.

Par connexion SSHed:

et en suivant ce script:

sudo gsutil cp gs://[BUCKET_NAME]/[OBJECT_NAME] [OBJECT_DESTINATION_IN_LOCAL]

Vous avez cette erreur:

AccessDeniedException: accès 403 non configuré. Accédez à la console Google Cloud Platform ( https://cloud.google.com/console#/project ) pour votre projet, sélectionnez API et authentification et activez l'API JSON Google Cloud Storage.

Ce qui a résolu ce problème était la suite de la section «Activation de l'API» mentionnée dans ce lien - https://cloud.google.com/storage/docs/json_api/

Une fois que j'ai activé l'API, je me suis authentifié dans la fenêtre SSHed via

gcloud auth login

Suite à la procédure d'authentification, j'ai finalement pu télécharger depuis Google Storage Bucket vers ma VM.

PS

Je me suis assuré de:

1. Assurez-vous que gsutils est installé sur mon instance de VM.

2. Accédez à mon compartiment, accédez à l'onglet autorisations, ajoutez les comptes de service souhaités et définissez l'autorisation / le rôle d'administrateur de stockage.

   3.Assurez-vous que ma VM disposait d'étendues d'accès à l'API Cloud appropriées:

À partir de la documentation: https://cloud.google.com/compute/docs/access/create-enable-service-accounts-for-instances#changeserviceaccountandscopes

Vous devez d'abord arrêter l'instance -> aller à la page de modification -> aller à "Portées d'accès à l'API Cloud" et choisir "Accès complet au stockage ou lecture / écriture ou tout ce dont vous avez besoin"

Modification du compte de service et des étendues d'accès pour une instance Si vous souhaitez exécuter la VM sous une identité différente, ou si vous déterminez que l'instance a besoin d'un ensemble d'étendues différent pour appeler les API requises, vous pouvez modifier le compte de service et les étendues d'accès d'une instance existante. Par exemple, vous pouvez modifier les portées d'accès pour accorder l'accès à une nouvelle API ou modifier une instance pour qu'elle s'exécute en tant que compte de service que vous avez créé, au lieu du compte de service par défaut Compute Engine.

Pour modifier le compte de service et les étendues d'accès d'une instance, l'instance doit être temporairement arrêtée. Pour arrêter votre instance, lisez la documentation sur l'arrêt d'une instance. Après avoir modifié le compte de service ou les étendues d'accès, n'oubliez pas de redémarrer l'instance. Utilisez l'une des méthodes suivantes pour modifier le compte de service ou accéder aux étendues de l'instance arrêtée.

Modifiez les autorisations du bucket.

Ajoutez un utilisateur pour "Tous les utilisateurs" et accordez un accès "Administrateur de stockage".