Exécution de milliers de processus d'arrière-plan curl en parallèle dans le script bash

J'exécute des milliers de processus d'arrière-plan curl en parallèle dans le script bash suivant

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

J'ai un serveur dédié 49Gb Corei7-920 (non virtuel).

Je surveille la consommation de mémoire et le processeur via la topcommande et ils sont loin des limites.

J'utilise ps aux | grep curl | wc -lpour compter le nombre de processus de curl actuels . Ce nombre augmente rapidement jusqu'à 2 à 4 milliers, puis commence à diminuer continuellement.

Si j'ajoute une analyse simple à l'aide de la tuyauterie curl à awk ( curl | awk > output), le nombre de processus de boucle augmente jusqu'à 1-2 milliers, puis diminue à 20-30 ...

Pourquoi le nombre de processus diminue-t-il si fortement? Où sont les limites de cette architecture?

Suite à la question stricte:

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

Plus court si vous n'avez pas besoin du texte passe-partout autour des horaires:

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

Si vous souhaitez exécuter des milliers en parallèle, vous atteindrez certaines limites (telles que les descripteurs de fichiers). Augmenter ulimit -n ou /etc/security/limits.conf peut aider.

for i in {1..100000}

Il n'y a que 65536 ports. Limitez cela.

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

(edit: (edit: supprime les assertions sérieusement datées sur les limites du système d'exploitation et ajoute les manquantes )echocurl
wait