J'utilise HDF5 depuis des années, mais à mesure que la taille de l'ensemble de données augmente, je commence à rencontrer les mêmes problèmes répertoriés ici
http://cyrille.rossant.net/moving-away-hdf5/
Pouvez-vous m'indiquer un format comme HDF5 avec - Un bon support pour les écritures parallèles - Un support pour un accès en bloc de matrices énormes
Mon cas d'utilisation typique est une matrice entière de 100k x 100k. Je voudrais l'avoir comme un fichier entier d'un point de vue logique, mais je dois l'écrire morceau par morceau avec des travailleurs parallèles.