La programmation shared-memory

4

Objets de mémoire partagée en multitraitement

Supposons que j'ai un grand tableau numpy en mémoire, j'ai une fonction funcqui prend ce tableau géant en entrée (avec quelques autres paramètres). funcavec différents paramètres peuvent être exécutés en parallèle. Par exemple: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = …

124 python numpy parallel-processing multiprocessing shared-memory

5

Comment utiliser la mémoire partagée avec Linux en C

J'ai un petit problème avec l'un de mes projets. J'ai essayé de trouver un exemple bien documenté d'utilisation de la mémoire partagée avec fork()mais sans succès. Fondamentalement, le scénario est que lorsque l'utilisateur démarre le programme, je dois stocker deux valeurs dans la mémoire partagée: current_path qui est un char …

117 c linux fork shared-memory

1

Application efficace d'une fonction à un DataFrame pandas groupé en parallèle

J'ai souvent besoin d'appliquer une fonction aux groupes d'un très grand DataFrame(de types de données mixtes) et je voudrais profiter de plusieurs cœurs. Je peux créer un itérateur à partir des groupes et utiliser le module multitraitement, mais ce n'est pas efficace car chaque groupe et les résultats de la …

89 python pandas multiprocessing shared-memory

6

Partager une grande matrice Numpy en lecture seule entre des processus de multitraitement

J'ai un SciPy Array (Matrix) de 60 Go que je dois partager entre plus de 5 multiprocessing Processobjets. J'ai vu numpy-sharedmem et lu cette discussion sur la liste SciPy. Il semble y avoir deux approches - numpy-sharedmemet utiliser a multiprocessing.RawArray()et mapper NumPy dtypes à ctypes. Maintenant, numpy-sharedmemsemble être la voie …

88 python numpy multiprocessing shared-memory

Questions marquées «shared-memory»