Comment utiliser AWS S3 CLI pour vider des fichiers sur stdout dans BASH?

Je démarre un script bash qui prendra un chemin dans S3 (comme spécifié à la commande ls ) et videra le contenu de tous les objets de fichier dans stdout. Essentiellement, je voudrais répliquer cat /path/to/files/*sauf pour S3, par exemple s3cat '/bucket/path/to/files/*'. Ma première inclinaison en regardant les options est d'utiliser la cpcommande dans un fichier temporaire et ensuite catcela.

Quelqu'un a-t-il essayé ceci ou similaire ou y a-t-il déjà une commande que je ne trouve pas qui le fait?

vider le contenu de tous les objets fichier sur stdout.

Vous pouvez accomplir cela si vous passez -pour la destination de la aws s3 cpcommande. Par exemple $ aws s3 cp s3://mybucket/stream.txt -,.

Ce que vous essayez de faire est quelque chose comme ça? ::

#!/bin/bash

BUCKET=YOUR-BUCKET-NAME
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/ | jq -r '.Contents[].Key'`
do
  echo $key
  aws s3 cp s3://$BUCKET/$key - | md5sum
done

Si vous utilisez une version de l'AWS CLI qui ne prend pas en charge la copie vers "-", vous pouvez également utiliser / dev / stdout:

$ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout

Vous pouvez également souhaiter que l' --quietindicateur empêche une ligne de résumé comme celle-ci d'être ajoutée à votre sortie:

télécharger: s3: //mybucket/stream.txt vers ../../dev/stdout

Vous pouvez essayer d'utiliser s3streamcat , il prend également en charge les formats bzip, gzip et xz.

Installer avec

sudo pip install s3streamcat

Usage:

s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something

Ah ha!

https://pypi.python.org/pypi/s3cat/1.0.8

J'écris plus de caractères pour satisfaire l'exigence de longueur.

Si vous souhaitez accomplir cela à l'aide de BASH, vous devrez appeler une application externe telle que l' AWS Command-Line Interface (CLI). Il n'a pas d'équivalent CAT, vous devez donc copier le fichier localement, puis le CAT.

Vous pouvez également utiliser / écrire une application qui appelle directement le kit AWS SDK, qui est disponible pour des langages tels que Python, PHP, Java. En utilisant le SDK, le contenu du fichier peut être récupéré en mémoire, puis envoyé à stdout.