Comment nettoyer les instantanés AWS EC2 orphelins?

Nous nous retrouvons avec une bonne quantité d'instantanés AWS EC2 où l'AMI a été supprimée, mais l'instantané est laissé pourrir. Je voudrais un moyen non manuel d' identifier et de supprimer ces orphelins pour nous faire économiser de l'argent et de l'espace.

Idéalement, je pense à un script bash exploitant la CLI , mais mon AWS-fu est faible. Je suppose que quelqu'un a déjà fait cela, mais je ne trouve pas de script qui fonctionne réellement.

Dans le meilleur des cas, cela vérifiera également les volumes et les nettoiera également, mais cela peut être mieux adapté à une deuxième question.

En grande partie inspiré par les articles de blog et l'essentiel déjà liés dans les autres réponses, voici mon point de vue sur le problème.

J'ai utilisé certaines fonctions JMESpath alambiquées pour obtenir une liste d'instantanés et pas besoin tr.

Avis de non - responsabilité : utilisez à vos risques et périls , j'ai fait de mon mieux pour éviter tout problème et garder les valeurs par défaut saines, mais je ne prendrai aucun blâme s'il vous cause un problème.

#!/bin/sh
# remove x if you don't want to see the commands
set -ex

# Some variable initialisation with sane defaults
DRUN='--dry-run'
DO_DELETE=${1:-'no'}
REGION=${2:-'eu-west-1'}
ACCOUNTID=${3:-'self'}

# Get two temporary files
SNAP_FILE=$(mktemp)
IMAGE_FILE=$(mktemp)

# Get the snapshot list and the volume list
aws --region "$REGION" ec2 describe-snapshots --owner-ids "$ACCOUNTID" --query 'Snapshots[*].[SnapshotId]' --output text > "$SNAP_FILE"
aws --region "$REGION" ec2 describe-images --owners "$ACCOUNTID" --filters Name=state,Values=available --query 'Images[*].BlockDeviceMappings[*].Ebs.[SnapshotId]' --output text > "$IMAGE_FILE"

# Check if the outputed command should be dry-run (default) or not
if [ "$DO_DELETE" = "IAMSURE" ]
then
 DRUN=''
fi

# count each snapshot id, decrease when a volume reference it, print delete command for those with no volumes
awk -v REGION="$REGION" -v DRUN="$DRUN" '
FNR==NR { snap[$1]++; next } # increment snapshots and get to next line in file immediately

{ snap[$1]-- } # we changed file, decrease the snap counter when a volume reference it

END {
 for (s in snap) { # loop over the snapshots
   if (snap[s] > 0) { # if we did not decrese under 1 that means there is no volume referencing this snapshot
    cmd="aws --region " REGION " " DRUN " ec2 delete-snapshot --snapshot-id " s
    print(cmd)
  }
 }
}
' "$SNAP_FILE" "$IMAGE_FILE"
# Clean up the temp files
rm "$SNAP_FILE" "$IMAGE_FILE"

J'espère que le script lui-même est suffisamment commenté.

L'utilisation par défaut (sans paramètres) répertorie les commandes de suppression des instantanés orphelins pour le compte actuel et la région eu-west-1, extrait:

aws --region eu-west-1 --dry-run ec2 delete-snapshot --snapshot-id snap-81e5856a
aws --region eu-west-1 --dry-run ec2 delete-snapshot --snapshot-id snap-95c68c7e
aws --region eu-west-1 --dry-run ec2 delete-snapshot --snapshot-id snap-a3bf50bd

Vous pouvez rediriger cette sortie vers un fichier pour révision avant de la sourcer pour exécuter toutes les commandes.

Si vous souhaitez que le script exécute la commande au lieu de les imprimer, remplacez print(cmd)par system(cmd).

L'utilisation est la suivante avec un script nommé snap_cleaner:

pour les commandes à sec dans la région us-west-1

./snap_cleaner no us-west-1

pour les commandes utilisables dans eu-central-1

./snap_cleaner IAMSURE eu-central-1 

Un troisième paramètre peut être utilisé pour accéder à un autre compte (je préfère changer de rôle vers un autre compte auparavant).

Version dépouillée du script avec un script awk comme oneliner:

#!/bin/sh
set -ex

# Some variable initialisation with sane defaults
DRUN='--dry-run'
DO_DELETE=${1:-'no'}
REGION=${2:-'eu-west-1'}
ACCOUNTID=${3:-'self'}

# Get two temporary files
SNAP_FILE=$(mktemp)
IMAGE_FILE=$(mktemp)

# Get the snapshot list and the volume list
aws --region "$REGION" ec2 describe-snapshots --owner-ids "$ACCOUNTID" --query 'Snapshots[*].[SnapshotId]' --output text > "$SNAP_FILE"
aws --region "$REGION" ec2 describe-images --owners "$ACCOUNTID" --filters Name=state,Values=available --query 'Images[*].BlockDeviceMappings[*].Ebs.[SnapshotId]' --output text > "$IMAGE_FILE"

# Check if the outputed command should be dry-run (default) or not
if [ "$DO_DELETE" = "IAMSURE" ]
then
 DRUN=''
fi

# count each snapshot id, decrease when a volume reference it, print delete command for those with no volumes
awk -v REGION="$REGION" -v DRUN="$DRUN" 'FNR==NR { snap[$1]++; next } { snap[$1]-- } END { for (s in snap) { if (snap[s] > 0) { cmd="aws --region " REGION " " DRUN " ec2 delete-snapshot --snapshot-id " s; print(cmd) } } }' "$SNAP_FILE" "$IMAGE_FILE"
# Clean up the temp files
rm "$SNAP_FILE" "$IMAGE_FILE"

J'ai utilisé le script suivant sur GitHub de Rodrigue Koffi (bonclay7) et cela fonctionne plutôt bien.

https://github.com/bonclay7/aws-amicleaner

Commander:

amicleaner --check-orphans

À partir du blog de documentation, il fait plus de choses:

Il fait en fait un peu plus que cela, il permet aujourd'hui:

• Suppression d'une liste d'images et de clichés associés
• Cartographie des AMI:
  • Utiliser des noms
  • Utiliser des balises
• Filtrage des AMI:
  • utilisé par les instances en cours d'exécution
  • à partir de groupes de mise à l'échelle automatique (configurations de lancement) avec une capacité souhaitée définie sur 0
  • des configurations de lancement détachées des groupes de mise à l'échelle automatique
• Spécification du nombre d'AMI que vous souhaitez conserver
• Nettoyage des instantanés orphelins
• Un peu de reportage

Voici un script qui peut vous aider à trouver des instantanés orphelins

comm -23 <(echo $(ec2-describe-snapshots --region eu-west-1 | grep SNAPSHOT | awk '{print $2}' | sort | uniq) | tr ' ' '\n') <(echo $(ec2-describe-images --region eu-west-1 | grep BLOCKDEVICEMAPPING | awk '{print $3}' | sort | uniq) | tr ' ' '\n') | tr '\n' ' '

(d' ici )

Vous pouvez également consulter cet article à partir de serverfault

PS Bien sûr, vous pouvez changer la région pour refléter votre

PPS Voici le code mis à jour:

 comm -23 \
<(echo $(aws ec2 describe-snapshots --region eu-west-1 |awk '/SNAPSHOT/ {print $2}' | sort -u) | tr ' ' '\n') \
<(echo $(aws ec2 describe-images --region eu-west-1 |  awk '/BLOCKDEVICEMAPPING/ {print $3}' | sort -u) | tr ' ' '\n') | tr '\n' ' '

Les exemples d'exaplanations du code sont les suivants:

echo $(aws ec2 describe-snapshots --region eu-west-1 | awk '/SNAPSHOT/ {print $2}' | sort -u) | tr ' ' '\n')

envoyer à STDOUT la liste des instantanés. cette construction:

<(...)

créer un gestionnaire de fichiers temporaire virtuel pour faire commlire la commande à partir de deux "fichiers" et les comparer

Voici un extrait de code GitHub Gist d'exactement ce que vous demandez par Daniil Yaroslavtsev.

Il utilise la liste de toutes les images et leurs instantanés et compare les ID à la liste de tous les ID d'instantanés. Ce qui reste, ce sont les orphelins. Le code fonctionne selon le même principe que la réponse ci-dessus, mais il est mieux formaté et légèrement plus lisible.

Le code tire parti de l' --query Snapshots[*].SnapshotIdoption JMESPath with (vous pouvez également utiliser l'utilitaire de ligne de commande jp pour cela, s'il est déjà dans votre distribution. Il formate la sortie sous forme de texte avec --output text. Voici un lien vers la référence de l'API et quelques exemples. Il est légèrement plus élégant qu'une longue chaîne de tuyaux grep / awk / sort / uniq / tr.

Avertissement de Todd Walton : ne vous trompez pas avec l'utilitaire 'jq' qui utilise un langage de requête différent pour analyser les documents json.

J'ai écrit un script snapshots.py qui itère sur tous les snapshots (dans une liste définie de régions) et génère report.csv. Ce fichier contient des informations sur l'instance, l'AMI et le volume référencés par tous les instantanés.

Il existe également une commande pour supprimer interactivement les instantanés pendantes.