Questions marquées «parallelism»

Effectuer des tâches en parallèle, pour utiliser plusieurs processeurs

1
Comment obtenir l'index du «processeur parallèle» xargs?
Supposons que j'ai deux ressources, nommées 0et 1, qui ne sont accessibles qu'en exclusivité. Existe-t-il un moyen de récupérer l '"index" du "processeur parallèle" qui se xargslance afin de l'utiliser comme un service d'exclusion mutuelle gratuit? Par exemple, considérons le calcul parallélisé suivant: $ echo {1..8} | xargs -d " …
9
Propager stdin aux processus parallèles
J'ai une tâche qui traite une liste de fichiers sur stdin. Le temps de démarrage du programme est important et le temps nécessaire à chaque fichier varie considérablement. Je veux générer un nombre important de ces processus, puis envoyer le travail à ceux qui ne sont pas occupés. Il existe …
1
Est-il possible d'exécuter deux commandes en même temps dans un script shell?
Je sais que sur la ligne de commande, je peux utiliser &pour exécuter une commande en arrière-plan. Mais je me demande si je peux le faire dans un script. J'ai un script comme celui-ci: date_stamp=$(date +"%Y-%m-%d" --date='yesterday') shopt -s extglob cd /my/working/directory/ sh ./stay/get_it_ios.sh sh ./stay/get_it_mix.sh cd stay zip ../stay_$date_stamp.zip …
2
Comment paralléliser dd?
J'ai actuellement des problèmes avec ddinvoqué avec un fichier clairsemé comme entrée ( if) et un fichier comme sortie ( of) avec conv=sparse. ddsemble utiliser Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHzuniquement un cœur du processeur ( 4 cœurs + 4 Intel Hyperthreads) (100% d'un cœur), donc je me demandais s'il …
10 linux  dd  parallelism 
1
Utilisation d'un seul cœur de processeur
J'ai besoin d'exécuter des tests de performances pour mon programme simultané et mon exigence est qu'il ne doit être exécuté que sur un seul cœur de processeur. (Je ne veux pas de threads coopératifs - je veux toujours avoir un changement de contexte). J'ai donc deux questions: La meilleure solution …
3
utilisation parallèle xargs correcte
J'utilise xargspour appeler un script python pour traiter environ 30 millions de petits fichiers. J'espère utiliser xargspour paralléliser le processus. La commande que j'utilise est: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt Fondamentalement, Convert.pylira dans un petit fichier json (4 Ko), …
1
Multi-Threading / Forking dans un script bash
J'ai écrit un script bash au format suivant: #!/bin/bash start=$(date +%s) inFile="input.txt" outFile="output.csv" rm -f $inFile $outFile while read line do -- Block of Commands done < "$inFile" end=$(date +%s) runtime=$((end-start)) echo "Program has finished execution in $runtime seconds." La whileboucle va lire $inFile, effectuer une activité sur la ligne …
2
Parallélisation d'une boucle for
Je veux paralléliser les forboucles du code suivant. Comment faire ça? #!/bin/bash N=$1 n=$2 for (( i=1; i<=$N; i++ )); do min=100000000000000 //set min to some garbage value for (( j=1; j<=$n; j++ )); do val=$(/path/to/a.out) val2=`echo $val | bc` if (( $val2 < $min )); then min=$val2; fi done …
2
Le pauvre GNU Parallel implémenté dans ksh?
Je voudrais utiliser la fonctionnalité de GNU parallel où il peut exécuter la commande et la liste qui est alimentée en parallèle et la recracher après tout, cependant, je ne veux pas installer GNU parallel sur tous nos serveurs. Ou peut-être une version parallèle de xargs? Existe-t-il une implémentation ksh …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.