Limitation des processus pour qu'ils ne dépassent pas 10% de l'utilisation du processeur

J'exploite un système Linux qui compte de nombreux utilisateurs mais parfois un abus. où un utilisateur peut exécuter un processus unique qui utilise plus de 80% de la CPU / mémoire.

Y a-t-il un moyen d'éviter cela en limitant l'utilisation d'un processeur qu'un processus peut utiliser (à 10% par exemple)? Je suis au courant cpulimit, mais malheureusement, la limite est appliquée aux processus que je lui demande de limiter (processus uniques, par exemple). Ma question est donc la suivante: comment puis-je appliquer la limite à tous les processus en cours et aux processus qui seront exécutés à l'avenir sans avoir besoin de fournir leur identifiant / chemin par exemple?

Bien que cela puisse être un abus de mémoire, ce n’est pas le cas de la CPU: quand une CPU est inactive, un processus en cours (par "running", je veux dire que le processus n’attend pas d’E / S ou autre chose) prendra 100% de temps CPU par défaut. Et il n'y a aucune raison d'imposer une limite.

Maintenant, vous pouvez définir des priorités grâce à nice. Si vous souhaitez qu’ils s’appliquent à tous les processus d’un utilisateur donné, vous devez simplement vous assurer que son shell de connexion est exécuté avec nice: les processus enfants hériteront de la nicevaleur. Cela dépend de la manière dont les utilisateurs se connectent. Voir Priorité aux connexions SSH (nice) par exemple.

Vous pouvez également configurer des machines virtuelles. En effet, définir une limite par processus n'a pas beaucoup de sens puisque l'utilisateur peut démarrer plusieurs processus en abusant du système. Avec une machine virtuelle, toutes les limites seront globales pour la machine virtuelle.

Une autre solution consiste à fixer des /etc/security/limits.conflimites. reportez-vous à la page de manuel limits.conf (5). Par exemple, vous pouvez définir le temps CPU maximum par login et / ou le nombre maximum de processus par login. Vous pouvez également définir maxloginssur 1 pour chaque utilisateur.

gentil / renice

nice est un excellent outil pour apporter des modifications ponctuelles à un système.

 nice COMMAND

cpulimit

cpulimit si vous avez besoin d'exécuter un travail gourmand en ressources processeur et qu'il vous est nécessaire de disposer d'un temps processeur suffisant pour la réactivité du système.

cpulimit -l 50 COMMAND

cgroups

cgroups appliquer des limites à un ensemble de processus plutôt qu'à un seul

cgcreate -g cpu:/cpulimited
cgset -r cpu.shares=512 cpulimited
cgexec -g cpu:cpulimited COMMAND_1
cgexec -g cpu:cpulimited COMMAND_2
cgexec -g cpu:cpulimited COMMAND_3

Ressources

http://blog.scoutapp.com/articles/2014/11/04/restricting-process-cpu-usage-using-nice-cpulimit-and-cgroups

Avez-vous regardé cgroups? Il y a quelques informations sur Arch Wiki à leur sujet. Lisez la section cpu.sharesintitulée «On dirait qu’elle répond à vos besoins et qu’elle peut fonctionner au niveau de l’utilisateur, ce qui vous permet de limiter tous les processus en même temps.

Pour mémoire, ce que vous recherchez est ulimit -v. Notez que cela ulimitest hérité par les processus enfants. Par conséquent, si vous l'appliquez au shell de connexion de l'utilisateur au moment de la connexion, il s'applique à tous ses processus.

Si tous vos utilisateurs utilisent bash comme shell de connexion, la ligne suivante /etc/profiledevrait entraîner une limite stricte de 1 Go pour tous les processus utilisateur (plus précisément, un million de kilo-octets):

ulimit -vH 1000000

L'option Hgarantit que la limite est stricte, c'est-à-dire que l'utilisateur ne peut pas la configurer par la suite. Bien entendu, l'utilisateur peut toujours remplir sa mémoire en démarrant suffisamment de processus à la fois.

Pour les autres shells, vous devrez trouver quels fichiers d’initialisation ils lisent à la place (et quelle autre commande au lieu de ulimit leur utilisation).

Pour le processeur, ce que vous souhaitez n'a pas de sens pour moi. Quelle serait l'utilisation de laisser 90% de la CPU inutilisée lorsqu'un seul processus est en cours d'exécution? Je pense que ce que vous voulez vraiment est nice(et éventuellement ionice). Notez que, comme ulimit, les nicevaleurs sont héritées par les processus de l' enfant, afin de l' appliquer à l'interpréteur de commandes à temps suffit de connexion. Je suppose que cela s'applique également à, ionicemais je ne suis pas sûr.

Puisque vous dites que cpulimit ne serait pas pratique dans votre cas, je vous suggère donc de regarder nice , renice et taskset , ce qui peut se rapprocher de ce que vous souhaitez atteindre, bien que taskset permette de définir l'affinité de traitement d'un processus. pourrait ne pas être immédiatement utile dans votre cas.

Depuis que vos tags ont centos, vous pouvez utiliser systemd.

Par exemple, si vous souhaitez limiter les utilisateurs avec l'ID suivant 1234:

sudo systemctl edit --force user-1234.slice

Puis tapez et enregistrez ceci:

[Slice] CPUQuota=10%

La prochaine fois que cet utilisateur se connectera, cela affectera.

Man pages: systemctl, systemd.slice, systemd.resource-control...

Si vous souhaitez limiter les processus déjà démarrés, vous devrez le faire un par un par PID, mais vous pouvez utiliser un script de traitement par lots comme celui-ci:

#!/bin/bash
LIMIT_PIDS=$(pgrep tesseract)   # PIDs in queue replace tesseract with your name
echo $LIMIT_PIDS
for i in $LIMIT_PIDS
do
    cpulimit -p $i -l 10 -z &   # to 10 percent processes
done

Dans mon cas pypdfocrlance le gourmandtesseract .

De plus, dans certains cas, si votre CPU est assez bon, vous pouvez simplement utiliser renicececi:

watch -n5 'pidof tesseract | xargs -L1 sudo renice +19'