Mettre à jour
S3 propose désormais un service de passerelle SFTP entièrement géré pour S3 qui s'intègre à IAM et peut être administré à l'aide de aws-cli.
Il y a des raisons théoriques et pratiques pour lesquelles ce n'est pas une solution parfaite, mais cela fonctionne ...
Vous pouvez installer un service FTP / SFTP (tel que proftpd) sur un serveur Linux, soit dans EC2 ou dans votre propre centre de données ... puis monter un bucket dans le système de fichiers où le serveur ftp est configuré pour chroot, en utilisant s3fs .
J'ai un client qui sert du contenu en dehors de S3, et le contenu leur est fourni par un tiers qui ne prend en charge que les push ftp ... donc, avec une certaine hésitation (en raison de la discordance d'impédance entre S3 et un système de fichiers réel) mais manquant le temps d'écrire un progiciel de serveur de passerelle FTP / S3 approprié (ce que j'ai encore l'intention de faire un de ces jours), j'ai proposé et déployé cette solution pour eux il y a plusieurs mois et ils n'ont signalé aucun problème avec le système.
En prime, puisque proftpd peut chrooter chaque utilisateur dans son propre répertoire personnel et "faire semblant" (pour autant que l'utilisateur puisse le dire) que les fichiers appartenant à l'utilisateur proftpd appartiennent réellement à l'utilisateur connecté, cela sépare chaque utilisateur ftp en un "sous-répertoire" du bucket, et rend les fichiers des autres utilisateurs inaccessibles.
Il y a cependant un problème avec la configuration par défaut.
Une fois que vous commencez à obtenir quelques dizaines ou centaines de fichiers, le problème se manifestera lorsque vous tirerez une liste de répertoires, car ProFTPd tentera de lire les .ftpaccessfichiers encore et encore, et pour chaque fichier du répertoire, .ftpaccessest vérifié pour voir si l'utilisateur doit être autorisé à le consulter.
Vous pouvez désactiver ce comportement dans ProFTPd, mais je suggérerais que la configuration la plus correcte consiste à configurer des options supplémentaires -o enable_noobj_cache -o stat_cache_expire=30dans s3fs:
-o stat_cache_expire (la valeur par défaut n'est pas d'expiration)
spécifier l'heure d'expiration (secondes) pour les entrées dans le cache de statistiques
Sans cette option, vous ferez moins de requêtes à S3, mais vous ne découvrirez pas toujours de manière fiable les modifications apportées aux objets si des processus externes ou d'autres instances de s3fs modifient également les objets du compartiment. La valeur «30» dans mon système a été choisie de manière quelque peu arbitraire.
-o enable_noobj_cache (la valeur par défaut est désactivée)
activer les entrées de cache pour l'objet qui n'existe pas. s3fs doit toujours vérifier si le fichier (ou sous-répertoire) existe sous l'objet (chemin) lorsque s3fs exécute une commande, car s3fs a reconnu un répertoire qui n'existe pas et contient des fichiers ou des sous-répertoires sous lui-même. Il augmente la demande de ListBucket et rend les performances mauvaises. Vous pouvez spécifier cette option pour les performances, s3fs mémorise dans le cache de statistiques que l'objet (fichier ou répertoire) n'existe pas.
Cette option permet à s3fs de se souvenir que ce .ftpaccessn'était pas là.
Sans rapport avec les problèmes de performances qui peuvent survenir avec ProFTPd, qui sont résolus par les modifications ci-dessus, vous devez également activer -o enable_content_md5dans s3fs.
-o enable_content_md5 (la valeur par défaut est désactivée)
vérification des données téléchargées sans multipart par l'en-tête content-md5. Permet d'envoyer l'en-tête "Content-MD5" lors du téléchargement d'un objet sans publication en plusieurs parties. Si cette option est activée, elle a des influences sur les performances de s3fs lors du téléchargement de petits objets. Comme s3fs vérifie toujours MD5 lors du téléchargement d'un objet volumineux, cette option n'affecte pas les objets volumineux.
C'est une option qui n'aurait jamais dû être une option - elle devrait toujours être activée, car ne pas faire cela contourne une vérification d'intégrité critique pour seulement un avantage de performance négligeable. Lorsqu'un objet est téléchargé vers S3 avec un en- Content-MD5:tête, S3 validera la somme de contrôle et rejettera l'objet s'il est corrompu en transit. Aussi improbable que cela puisse être, il semble à courte vue de désactiver ce contrôle de sécurité.
Les citations proviennent de la page de manuel de s3fs. Les erreurs grammaticales se trouvent dans le texte original.