La programmation multiprocessing

5

Utilisez numpy array dans la mémoire partagée pour le multitraitement

Je voudrais utiliser un tableau numpy en mémoire partagée pour une utilisation avec le module multitraitement. La difficulté est de l'utiliser comme un tableau numpy, et pas seulement comme un tableau ctypes. from multiprocessing import Process, Array import scipy def f(a): a[0] = -a[0] if __name__ == '__main__': # Create …

111 python numpy multiprocessing shared

6

Que fait exactement la méthode .join () du module de multitraitement Python?

En savoir plus sur le multitraitement Python (à partir d'un article de PMOTW ) et j'aimerais avoir des éclaircissements sur ce que fait exactement la join()méthode. Dans un ancien tutoriel de 2008, il indique que sans l' p.join()appel dans le code ci-dessous, "le processus enfant restera inactif et ne se …

110 python multiprocessing

8

multitraitement: partager un gros objet en lecture seule entre les processus?

Les processus enfants générés via le multitraitement partagent-ils des objets créés précédemment dans le programme? J'ai la configuration suivante: do_some_processing(filename): for line in file(filename): if line.split(',')[0] in big_lookup_object: # something here if __name__ == '__main__': big_lookup_object = marshal.load('file.bin') pool = Pool(processes=4) print pool.map(do_some_processing, glob.glob('*.data')) Je charge un gros objet en …

107 python multiprocessing

4

multitraitement vs multithreading vs asyncio dans Python 3

J'ai trouvé que dans Python 3.4, il existe peu de bibliothèques différentes pour le multitraitement / threading: multiprocessing vs threading vs asyncio . Mais je ne sais pas lequel utiliser ou est le "recommandé". Font-ils la même chose ou sont-ils différents? Si oui, lequel est utilisé pour quoi? Je veux …

107 python multithreading python-3.x multiprocessing python-asyncio

8

Multitraitement: utilisez tqdm pour afficher une barre de progression

Pour rendre mon code plus "pythonique" et plus rapide, j'utilise le "multiprocessing" et une fonction map pour lui envoyer a) la fonction et b) la plage d'itérations. La solution implantée (c'est-à-dire appeler tqdm directement sur la plage tqdm.tqdm (plage (0, 30)) ne fonctionne pas avec le multitraitement (comme formulé dans …

97 python multiprocessing progress-bar tqdm

7

Python Process Pool non démoniaque?

Serait-il possible de créer un pool python qui ne soit pas démoniaque? Je veux qu'un pool puisse appeler une fonction qui a un autre pool à l'intérieur. Je veux cela parce que les processus de démon ne peuvent pas créer de processus. Plus précisément, cela provoquera l'erreur: AssertionError: daemonic processes …

96 python multiprocessing pool

9

Afficher la progression d'un appel de pool multitraitement Python imap_unordered?

J'ai un script qui effectue avec succès un ensemble de tâches de pool multitraitement avec un imap_unordered()appel: p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion Cependant, mon num_tasksest d'environ 250000, et donc le join()verrouillage du thread principal pendant environ 10 secondes, …

95 python multiprocessing

6

Comment utiliser la file d'attente multitraitement en Python?

J'ai beaucoup de mal à comprendre comment la file d'attente multiprocesseur fonctionne sur python et comment l'implémenter. Disons que j'ai deux modules python qui accèdent aux données à partir d'un fichier partagé, appelons ces deux modules un écrivain et un lecteur. Mon plan est que le lecteur et l'écrivain placent …

94 python multithreading multiprocessing

2

Partage d'une file d'attente de résultats entre plusieurs processus

La documentation du multiprocessingmodule montre comment transmettre une file d'attente à un processus démarré avec multiprocessing.Process. Mais comment puis-je partager une file d'attente avec des processus de travail asynchrones démarrés avec apply_async? Je n'ai pas besoin de jointure dynamique ou de quoi que ce soit d'autre, juste un moyen pour …

92 python parallel-processing queue multiprocessing python-multiprocessing

5

Exemple simple d'utilisation de la file d'attente multitraitement, du pool et du verrouillage

J'ai essayé de lire la documentation sur http://docs.python.org/dev/library/multiprocessing.html mais je suis toujours aux prises avec le multiprocessing Queue, Pool et Locking. Et pour l'instant, j'ai pu construire l'exemple ci-dessous. En ce qui concerne la file d'attente et le pool, je ne suis pas sûr d'avoir bien compris le concept, donc …

91 python python-2.7 multiprocessing

1

Application efficace d'une fonction à un DataFrame pandas groupé en parallèle

J'ai souvent besoin d'appliquer une fonction aux groupes d'un très grand DataFrame(de types de données mixtes) et je voudrais profiter de plusieurs cœurs. Je peux créer un itérateur à partir des groupes et utiliser le module multitraitement, mais ce n'est pas efficace car chaque groupe et les résultats de la …

89 python pandas multiprocessing shared-memory

6

Partager une grande matrice Numpy en lecture seule entre des processus de multitraitement

J'ai un SciPy Array (Matrix) de 60 Go que je dois partager entre plus de 5 multiprocessing Processobjets. J'ai vu numpy-sharedmem et lu cette discussion sur la liste SciPy. Il semble y avoir deux approches - numpy-sharedmemet utiliser a multiprocessing.RawArray()et mapper NumPy dtypes à ctypes. Maintenant, numpy-sharedmemsemble être la voie …

88 python numpy multiprocessing shared-memory

4

Comment dépanner une «AttributeError: __exit__» en multiproccesing en Python?

J'ai essayé de réécrire du code de lecture csv pour pouvoir l'exécuter sur plusieurs cœurs en Python 3.2.2. J'ai essayé d'utiliser l' Poolobjet de multiprocessing, que j'ai adapté à partir d'exemples de travail (et déjà travaillé pour moi pour une autre partie de mon projet). J'ai rencontré un message d'erreur …

87 python python-3.x multiprocessing pool

Questions marquées «multiprocessing»