Geoserver avec compartiment Amazon s3

Apache exécute Geoserver sur mon instance virtuelle et je me demande si le répertoire de données Geoserver peut pointer vers un compartiment Amazon S3. Est-ce possible? Comment cela affecte-t-il les performances?

Si S3 est une mauvaise configuration pour le répertoire de données de Geoserver, y a-t-il des suggestions pour ajouter de grandes quantités de données à mon répertoire de données de Geoserver? Le répertoire de données peut atteindre jusqu'à 100 Go, voire plus. Dois-je simplement obtenir un serveur avec un grand disque dur ou me connecter à une solution plus évolutive, comme un compartiment Amazon S3?

geoserver amazon-s3

— modulitos
source

Quelles sont les données? Je suppose que l'imagerie, mais l'avez-vous carrelée? Peut-être une base de données pour la victoire raster :-)

— BradHards

Si vos données sont raster et seront lues et traitées pour WMS S3 interactif, cela pourrait être très lent. Conseils sur les expériences passées, vous voudrez peut-être regarder glusterfs + EBS.

— simogeo

J'ai un intérêt à utiliser S3 comme un ensemble de données partagées pour une flotte de GeoServers extensible horizontalement. J'étudie actuellement l'utilisation de S3Fuse pour monter un système de fichiers pour cela. Ce serait formidable d'entendre parler d'autres succès / échecs dans ce domaine.

— 8bitjunkie

Des expériences sur ce sujet?

— geogeek

Réponses:

Pointer "directement" vers un compartiment S3 (par exemple en utilisant s3fs) est "probablement" une mauvaise idée. par exemple /programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

EBS est presque certainement le bon endroit pour stocker les données pour un accès par GeoServer.

100 Go est très gérable selon les normes EBS. (La taille maximale du volume est de 16 téraoctets!)

Je pourrais suggérer de stocker les données d'origine dans S3, puis de les répliquer sur vos instances selon vos besoins, à l'aide des outils AWS CLI pour synchroniser le contenu d'un dossier S3 avec votre instance locale avec une seule commande. http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html ). S3 est sans doute redondant, mais je trouve qu'il ajoute de la flexibilité et de la commodité.

Note latérale: Si vous prévoyez d'utiliser de grandes instances multicœurs de toute façon ET que vous savez que le volume de données ne devrait pas augmenter de façon inattendue ET que vous êtes en mesure de créer automatiquement vos instances, vous pouvez réellement envisager d'utiliser le stockage d'instance ("stockage éphémère" ), car vos données d'origine seront en sécurité dans S3, vous pouvez économiser sur les frais EBS et le stockage des instances peut être légèrement plus rapide que EBS dans certains cas.

— python1981
source

Ceci est une réponse globale. Boundless a une petite info ici: boundlessgeo.com/2013/04/…

— Alex Leith

qu'utilisez-vous pour lancer les commandes AWS à partir de pyQGIS? Processing.call? boto3 ne semble pas fonctionner. Il fonctionne dans le shell Osgeo avec python2 mais pas 3 ...

— Leo

Est-ce possible: cela peut être facilement réalisé pour les données qui sont adaptées à un format GeoTIFF en utilisant le module Geoserver s3 pour Geotiff Community - https://docs.geoserver.org/latest/en/user/community/s3-geotiff/index .html

Comment cela affecte-t-il les performances? C'est difficile à répondre, cependant, j'ai trouvé des performances à peu près équivalentes au stockage EBS / EFS à une fraction du prix.

— nstillwell
source