Comment supprimer toutes les données des glaciers?


29

J'utilisais un outil sur Mac OS X appelé Arq pour sauvegarder mes données, mais j'ai eu du mal à télécharger tous mes trucs car je n'ai pas et ne peux pas avoir une connexion Internet assez rapide pour cela.

J'ai donc décidé de supprimer toutes mes sauvegardes, mais chaque fois que j'essaie depuis le logiciel lui-même, il ne fait rien.

J'ai également essayé FastGlacier sur mon autre machine Windows, il raccroche et prend trop de ressources.

Je me demandais s'il y avait un moyen facile de le faire.

PS My glacier a ~ 450 Go dans les archives 341907


Note aux utilisateurs d'Arq - voir la réponse du développeur d'Arq Stefan Reitshamer ci-dessous. Évitez les maux de tête liés à la configuration de mtglacier et utilisez simplement l'outil intégré à Arq!
joewiz

Réponses:


26

La voûte de purge de ce projet fonctionne bien: https://github.com/vsespb/mt-aws-glacier

Installez, puis exécutez ces commandes (remplacez nom-coffre-fort par le nom de votre coffre-fort):

mtglacier retrieve-inventory --config glacier.cfg --vault vault-name

attendez environ 2 heures, puis

mtglacier download-inventory --config glacier.cfg --vault vault-name --new-journal vault-name.log
mtglacier purge-vault --config glacier.cfg --vault vault-name --journal vault-name.log

Merci beaucoup pour cela, mais malheureusement, je n'ai pas de stockage sur glacier pour le tester, alors s'il vous plaît, si quelqu'un le teste, faites-le-moi savoir pour lui indiquer la bonne réponse.
Shereef Marzouk

Merci pour les commentaires @CamiloNova J'ai choisi cela comme meilleure réponse en fonction de vos commentaires ^ _ ^
Shereef Marzouk

J'ai dû attendre plus près de 4 heures pour pouvoir télécharger l'inventaire
Parag

1
Cette méthode semble être beaucoup plus rapide par rapport à glacier-vault-remove. Cette méthode a pu supprimer 350 Go de données en quelques heures, alors qu'elle glacier-vault-removene supprimait qu'environ 30 Go de données toutes les 12 heures.
gbmhunter

Je me rends compte que cette réponse est marquée comme la solution confirmée, mais pour les utilisateurs d'Arq comme l'affiche originale, la réponse de Stefan Reitshamer ci-dessous est la meilleure, haut la main. Arq dispose d'un outil intégré pour supprimer les coffres des glaciers. Pas besoin de jouer avec mtglacier. Lisez simplement cette réponse, et vous avez terminé.
joewiz

15

https://github.com/leeroybrun/glacier-vault-remove a été créé dans ce but précis.

Pour supprimer un coffre-fort, installez d'abord les dépendances:

$ git clone https://github.com/leeroybrun/glacier-vault-remove.git
$ cd glacier-vault-remove
$ python setup.py install

Créez ensuite un fichier d'informations d'identification, credentials.jsondans le même répertoire:

{
  "AWSAccessKeyId": "YOURACCESSKEY",
  "AWSSecretKey":   "YOURSECRETKEY"
}

Exécutez ensuite le script comme ceci

$ python removeVault.py REGION-NAME VAULT-NAME

Exemple :

$ python removeVault.py us-east-1 my_vault

1
Ce script est beaucoup plus lent que mt-aws-glacier à l'heure actuelle
Dan Poltawski

De plus, il mange beaucoup de RAM. J'essaie de supprimer environ 120 000 archives - sur 1142 sur 125413, il utilise déjà plus de 1 Go de mémoire (et il augmente avec chaque archive).
aaronk6

7

Si vous supprimez un dossier soutenu par Glacier dans Arq, il va dans la corbeille d'Arq. Si vous le sélectionnez dans la corbeille d'Arq et cliquez sur "Supprimer définitivement", Arq supprimera toutes les archives Glacier et tentera de supprimer le coffre Glacier. La suppression du coffre-fort peut échouer car Amazon doit mettre à jour son "inventaire", ce qu'il fait une fois / jour. Le lendemain, parcourez sous "Autres jeux de sauvegarde" dans Arq, trouvez ce coffre-fort, sélectionnez-le et cliquez sur "Supprimer" pour le supprimer.

Si vous avez un coffre-fort qui n'est associé à aucune sauvegarde Arq, choisissez "Legacy Glacier Vaults" dans le menu d'Arq, sélectionnez le coffre-fort et cliquez sur le bouton à supprimer.


Merci, Stefan! J'ai eu du mal pendant des jours à comprendre comment supprimer mes coffres Arq - échec de l'installation de mtglacier sur mon Mac, création d'une instance dropcloud ubuntu pour exécuter mtglacier - et pendant tout ce temps, la solution était là dans Arq.
joewiz

5

Vous pouvez utiliser un produit gratuit comme CloudBerry Explorer http://www.cloudberrylab.com/free

Remarque: les données Glacier ne sont pas disponibles immédiatement. vous devez attendre 24 heures pour que l'inventaire global se produise du côté d'Amazon, puis vous devez cliquer sur le bouton Obtenir l'inventaire et attendre encore 5 heures pour obtenir l'inventaire de votre compte.

Merci


Je n'avais rien d'autre que glacier sur ce compte, donc je viens de supprimer mon compte aws, je le marquerai comme la bonne réponse car, je pense que cela aurait fonctionné si je l'avais essayé.
Shereef Marzouk

Pas vraiment une bonne réponse car ce produit ne fonctionne pas sur OSX.
user3353

1

Je sais que cette question a reçu une réponse il y a un certain temps, mais je pense que cela pourrait aider certaines personnes, car la suppression des données Glacier est toujours extrêmement lourde.

Je n'ai vu cela suggéré nulle part ... mais si vous utilisez uniquement AWS pour Glacier (ce qui, je suppose, doit être le cas pour beaucoup), vous pouvez envisager de simplement fermer votre compte AWS! C'est ce que j'ai fait après des jours d'essais incroyablement inefficaces pour supprimer les données avec divers outils.

Lorsque vous fermez votre compte, Amazon supprime vos données (soi-disant; elles devraient éventuellement récupérer au moins l'espace disque) et vous obtenez un reçu final pour le mois en cours. Au revoir Amazon!


J'utilisais de nombreux autres services Amazon et je ne voulais pas les perdre, et je suppose que beaucoup utilisent Amazon pour acheter des trucs, mais c'est bien d'avoir écrit cela quelque part pour les personnes qui n'ont jamais utilisé Amazon pour autre chose
Shereef Marzouk

@ShereefMarzouk Eh bien, lorsque vous fermez votre compte dans le panneau de configuration AWS, c'est en fait votre compte AWS que vous fermez, et non votre compte Amazon que vous utilisez pour effectuer des achats. Ainsi, vous pourrez toujours utiliser les autres services Amazon (tant qu'ils ne font pas partie d'AWS) comme d'habitude.
Formulaire

0

Comment supprimer Vault (AWS Glacier)

Ce Gist donne quelques conseils pour supprimer AWS Glacier Vaultavec AWS CLI (c'est-à-dire https://aws.amazon.com/en/cli/ ).

Étape 1 / Retrouver l'inventaire

$ aws glacier initiate-job --job-parameters "{\"Type\": \"inventory-retrieval\"}" --vault-name YOUR_VAULT_NAME --account-id YOUR_ACCOUNT_ID --region YOUR_REGION

Attendez 3/5 heures… :-(

Pour la nouvelle étape, vous devez obtenir le JobId. Une fois l'inventaire retrive terminé, vous pouvez l'obtenir avec la commande suivante:aws glacier list-jobs --vault-name YOUR_VAULT_NAME --region YOUR_REGION

Étape 2 / Obtenez les archivesIds

$ aws glacier get-job-output --job-id YOUR_JOB_ID --vault-name YOUR_VAULT_NAME --region YOUR_REGION ./output.json

Voir. Téléchargement d'un inventaire Vault dans Amazon Glacier

Vous pouvez obtenir tout le ArchiveIdcontenu du ./output.jsonfichier.

Étape 3 / Supprimer les archives

Powershell

de @vinyar

$input_file_name = 'output.json'
$vault_name = 'my_vault'
# $account_id = 'AFDKFKEKF9EKALD' #not used. using - instead

$a = ConvertFrom-Json $(get-content $input_file_name)

$a.ArchiveList.archiveid | %{
write "executing: aws glacier delete-archive --archive-id=$_ --vault-name $vault_name --account-id -"
aws glacier delete-archive --archive-id=$_ --vault-name $vault_name --account-id - }

Python

de @robweber

ijson , qui lit le fichier en tant que flux à la place. Vous pouvez l'installer avec pip

import ijson, subprocess

input_file_name = 'output.json'
vault_name = ''
account_id = ''

f = open(input_file_name)
archive_list = ijson.items(f,'ArchiveList.item')

for archive in archive_list:
    print("Deleting archive " + archive['ArchiveId'])
    command = "aws glacier delete-archive --archive-id='" + archive['ArchiveId'] + "' --vault-name " + vault_name + " --acc$
    subprocess.run(command, shell=True, check=True)

f.close()

PHP

de @Remiii

<?php

$file = './output.json' ;
$accountId = 'YOUR_ACCOUNT_ID' ;
$region = 'YOUR_REGION' ;
$vaultName = 'YOUR_VAULT_NAME' ;

$string = file_get_contents ( $file ) ;
$json = json_decode($string, true ) ;
foreach ( $json [ 'ArchiveList' ] as $jsonArchives )
{
    echo 'Delete Archive: ' . $jsonArchives [ 'ArchiveId' ] . "\n" ;
    exec ( 'aws glacier delete-archive --archive-id="' . $jsonArchives [ 'ArchiveId' ] . '" --vault-name ' . $vaultName . ' --account-id ' . $accountId . ' --region ' . $region , $output ) ;
    echo $output ;
}

Marque: Après avoir supprimé une archive, si vous téléchargez immédiatement l'inventaire du coffre-fort, il peut inclure l'archive supprimée dans la liste car Amazon Glacier ne prépare l'inventaire du coffre-fort qu'une fois par jour environ.

Voir. Suppression d'une archive dans Amazon Glacier

Étape 4 / Supprimer un coffre-fort

$ aws glacier delete-vault --vault-name YOUR_VAULT_NAME --account-id YOUR_ACCOUNT_ID --region YOUR_REGION

Gist à l'origine par @Remiii

Ok donc il y a quelques années, j'ai fermé mon compte et je l'ai rouvert il y a quelques mois et devinez quoi amazon a encore mes 3 To sur mon compte et maintenant je les ai facturés pour les derniers mois.

Je suis donc revenu à cette question et j'ai constaté que:

  • mt-aws-glacier est presque impossible à installer sur le dernier ubuntu puis est passé au 12.04 awscli n'est pas là, puis quand au 14.04 j'ai eu une erreur sur ma signature ...
  • La réponse Arq n'est plus pertinente dans Arq 5
  • Ensuite, j'ai trouvé l' essentiel ci - dessus et l' ai copié ici parce que c'est mieux pour la communauté
  • Cloudberry essayé et il semble que cela devrait fonctionner, je mettrai à jour ici dans 4 ~ 10 heures

-1

Sur Mac, vous pouvez essayer d'utiliser l' application ForkLift (gratuite pour évaluation) qui peut se connecter à Amazon S3.


Je me suis connecté à Amazon S3 mais cela ne me montre rien. Dois-je spécifier un serveur autre que s3.amazonaws.com pour accéder à glacier?
Kevin

Désolé, c'était il y a un certain temps pour moi maintenant ... Je ne me souviens plus comment j'ai finalement résolu le problème ... Je pense que cela pourrait avoir été via ces outils de ligne de commande répertoriés dans l'un de ces autres messages.
Marius

1
Glacier n'est pas S3. Ils font tous deux partie d'Amazon Web Services et sont tous deux utilisés pour stocker des fichiers, mais ils ont des cas d'utilisation, des structures de paiement, des restrictions et des API différents. Pour cette raison, les outils S3 ne fonctionnent pas avec Glacier et les outils Glacier ne fonctionnent pas avec S3 (même si cela ne veut pas dire qu'il n'y a pas d'outils disponibles à la fois compatibles S3 et Glacier, écrits avec des gestionnaires de réseau distincts et logique d'application pour chaque service) .
Slipp D. Thompson
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.