Unix & Linux gnu-parallel

10

J'ai essayé de paralléliser le script suivant, en particulier chacune des trois instances de boucle FOR, en utilisant GNU Parallel mais je n'ai pas pu le faire. Les 4 commandes contenues dans la boucle FOR sont exécutées en série, chaque boucle prenant environ 10 minutes. #!/bin/bash kar='KAR5' runList='run2 run3 run4' …

109 shell-script gnu-parallel

1

GNU parallel vs & (je veux dire fond) vs xargs -P

Je suis confus quant à la différence ou à l'avantage (le cas échéant) de l'exécution d'un ensemble de tâches dans un .shscript à l'aide deGNU parallel Par exemple, la réponse d' Ole Tange : parallel ./pngout -s0 {} R{} ::: *.png plutôt que de dire en boucle à travers eux …

40 shell-script background-process xargs gnu-parallel

6

Parallelise rsync à l'aide de GNU Parallel

J'utilise un rsyncscript pour synchroniser les données d'un hôte avec les données d'un autre hôte. Les données contiennent de nombreux fichiers de petite taille qui contribuent à près de 1,2 To. Afin de synchroniser ces fichiers, j'ai utilisé la rsynccommande comme suit: rsync -avzm --stats --human-readable --include-from proj.lst /data/projects REMOTEHOST:/data/ …

18 linux rhel rsync gnu-parallel

6

utilisation parallèle pour traiter des fichiers d'entrée uniques en fichiers de sortie uniques

J'ai un problème de script shell où je reçois un répertoire plein de fichiers d'entrée (chaque fichier contenant de nombreuses lignes d'entrée), et je dois les traiter individuellement, en redirigeant chacune de leurs sorties vers un fichier unique (aka, file_1.input needs à capturer dans file_1.output, etc.). Pré-parallèle , je voudrais …

18 scripting parallelism gnu-parallel

2

Pourquoi le parallèle (GNU?) Échoue-t-il silencieusement et comment le corriger?

Dans un script plus grand pour post-traiter certaines données de simulation, j'avais la ligne suivante: parallel bnzip2 -- *.bz2 Ce qui, si je comprends parallelbien (et peut-être pas), devrait exécuter les threads n-core du programme sur tous les fichiers avec l'extension répertoriée. Vous remarquerez peut-être que j'ai mal orthographié la …

15 gnu-parallel moreutils-parallel

3

Comment utiliser GNU Parallel pour cette boucle while?

J'ai donc une boucle while: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Mais cela peut prendre du temps. Comment utiliser GNU Parallel pour cette boucle while?

12 shell-script files gnu-parallel

1

Pourquoi le parallèle GNU ne fonctionne-t-il pas avec «bash -c»?

% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Je m'attendrais à ce que la deuxième ligne agisse de la même façon.

9 bash shell quoting gnu-parallel

4

Utilisation de GNU Parallel With Split

Je charge un fichier assez gigantesque dans une base de données postgresql. Pour ce faire, j'utilise d'abord splitle fichier pour obtenir des fichiers plus petits (30 Go chacun), puis je charge chaque fichier plus petit dans la base de données à l'aide de GNU Parallelet psql copy. Le problème est …

9 files split gnu-parallel

3

Comment utiliser GNU Parallel efficacement

Supposons que je veuille trouver toutes les correspondances dans un fichier texte compressé: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --rateutilisé ici pour mesurer le débit des tuyaux. Sur ma machine, c'est environ 420Mb / s (après décompression). Maintenant j'essaye de faire du grep parallèle …

8 shell gnu-parallel

2

Le pauvre GNU Parallel implémenté dans ksh?

Je voudrais utiliser la fonctionnalité de GNU parallel où il peut exécuter la commande et la liste qui est alimentée en parallèle et la recracher après tout, cependant, je ne veux pas installer GNU parallel sur tous nos serveurs. Ou peut-être une version parallèle de xargs? Existe-t-il une implémentation ksh …

8 ksh gnu parallelism gnu-parallel

Questions marquées «gnu-parallel»