J'ai un programme Linux capable d'écrire des informations sur stdout et stderr.

J'ai un script shell qui redirige cette sortie vers un fichier /var/log. (Via >>et 2>&1.)

Existe-t-il un moyen de faire pivoter ce fichier journal? (taille maximale, puis passer à un autre fichier, ne conserver qu'un nombre limité de fichiers)

J'ai vu quelques réponses qui parlent du logrotateprogramme, ce qui semble bien, mais elles semblent également se concentrer sur des programmes qui génèrent des fichiers journaux en interne et gèrent les signaux HUP. Existe-t-il un moyen de faire fonctionner cela avec un script de redirection de sortie de base?

Vous pouvez également acheminer la sortie via des outils conçus dans le but principal de gérer des ensembles de fichiers journaux de taille maximale, avec rotation automatique, tels que:

• Dan Bernstein multilogde daemontools
• Bruce Guenter multilogde daemontools-encore
• Laurent Bercot s6-logde s6
• Gerrit Pape svlogdde runit
• Wayne Marshall est tinylogde perp
• Mon cyclogde nosh

Les outils permettant ensuite de traiter multilogles ensembles de fichiers journaux de format comprennent, entre autres:

• Russ Allbery multilog-watch
• logrange
• Paul Kremer multilog-stamptail
• Mon follow-log-directoriesde nosh
• Mon export-to-rsyslogde nosh

Lectures complémentaires

• Jonathan de Boyne Pollard (2015). " Enregistrement ". La famille daemontools . Réponses fréquemment données.
• Jonathan de Boyne Pollard (2016). Ne pas utiliser logrotateou newsyslogen ce siècle. . Réponses fréquemment données.
• https://unix.stackexchange.com/a/326166/5132

l' rotatelogsoutil fourni avec apache (dans le binrépertoire) (voir la documentation ) utilise les entrées de stdin et fait pivoter le journal après un certain temps

Si vous pouvez le faire accéder à l'un des flux de journaux standard (syslog, démon, cron, utilisateur, sécurité, messagerie, etc.), vous pouvez utiliser la loggercommande et y accéder à la place.

echo "Hello." | logger -p daemon.info

Sinon, vous feriez mieux de rediriger votre contenu enregistré vers un programme personnalisé ou un script, ou de logrotateconfigurer la configuration.

EDIT: La réponse de JdeBP semble avoir ce que vous pourriez rechercher.

J’avais un problème similaire et j’avais initialement rejeté Logrotate, mais il s’est avéré que Logrotate peut réellement le faire correctement. La directive clé est " copytruncate ". Pour une raison quelconque, ce terme n’a été mentionné dans aucune des recherches que j’ai faites sur Google. J’ajoute donc cette réponse pour préciser comment l’utiliser dans ce cas.

L'astuce est que cela ne fonctionne que si la redirection est faite avec " >> " (ajouter) au lieu de " > " (créer).

Fichier de configuration (truncate.cfg):

/tmp/temp.log {
    size 10M
    copytruncate
    rotate 4
    maxage 100
}

Programme de test (n'abandonne jamais le fichier). Vous pouvez le regarder remplir le disque et bien que la suppression du fichier journal semble fonctionner, elle ne libérera aucun espace sur le disque:

cat /dev/urandom >> /tmp/temp.log

Journal tournant en rotation:

logrotate truncate.cfg

Existe-t-il un moyen de faire fonctionner logrotate avec la sortie standard redirigée d'un processus en cours?

Oui! Découvrez la directive "copytruncate" proposée par logrotate. Spécifier cela indique à logrotate de gérer cette situation: un programme simple qui garde son fichier journal ouvert indéfiniment.

Une mise en garde peut ou peut ne pas être un problème dans votre situation:

Notez qu'il y a très peu de temps entre la copie du fichier et sa troncature, de sorte que certaines données de journalisation risquent d'être perdues.

De manière anecdotique, j'ai vu des sources de journalisation du "monde réel" qui encouragent les utilisateurs à appliquer cette directive. Il y a quelques discussions sur cette option ici .

Utilisez split, cela fait partie des coreutils. Il peut prendre stdin et le scinder en morceaux (en fonction de la taille, du nombre de lignes, etc.).

Exemple:

app | split --bytes 1G - /var/logs/put-prefix-here

Note dash (-) indique à "split" d'utiliser stdin au lieu de fichier.

J'aime multilogmon cas d'utilisation, mais mon cas d'utilisation est tellement simple / trivial qu'il n'est pas présenté très simplement dans la documentation / les exemples que j'ai trouvés. Voici un exemple simple de rotation multilog:

mkdir /tmp/myapp
./myapp | multilog t s10000 n5 '!tai64nlocal' /tmp/myapp 2>&1

Quelques notes:

• cela vide les journaux dans ce répertoire / tmp / myapp /
• le s10000 représente 10 000 octets *
• le n5 représente 5 fichiers. * Le journal "actuel" compte pour l'un des fichiers; il comprend donc 4 journaux plus anciens + "en cours".
• ceci est basé sur, adapté des exemples fournis par François Beausoleil à l'adresse: http://blog.teksol.info/pages/daemontools/best-practices
• Je ne comprends pas beaucoup des options - je vous renvoie à la documentation pour étendre ceci ...
• Les docs avertissent que: "Note that running processor may block any program feeding input to multilog."où 'processeur' est la '!tai64nlocal'partie de la commande

* Pour de nombreuses applications, ce sont de mauvais choix pour une utilisation à long terme. Ils vous permettent d’observer le comportement de remplissage et de rotation des journaux plus rapidement que les journaux de grande taille.

Enfin, n'oubliez pas de nohup si nécessaire! Avec nohup, vous n’avez pas besoin du 2>&1(s = 10e6 et n = 30 ici):

mkdir -p /tmp/myapp
nohup ./myapp | multilog t s10000000 n30 '!tai64nlocal' /tmp/myapp &

Cette commande devrait vous aider à démarrer.

Je voulais juste ajouter au commentaire de Sam Hendley ci-dessus:

L'astuce est que cela ne fonctionne que si la redirection est faite avec >>(ajouter) au lieu de >(créer).

J'ai rencontré le même problème où le fichier d'origine ne cesse de croître si vous utilisez >(créez) mais si vous utilisez >>(ajoutez) Logrotate copytruncate fonctionne à merveille et comme prévu. Le fichier d'origine redescend à zéro octet et le programme continue à écrire.

Redirige STDOUT et STDERR vers un fichier journal en rotation:

1. some-program.sh >> /tmp/output.txt 2>&1 &

2. Créez un fichier de configuration logrotate sous le /etc/logrotate.dnom que vous voulez, output_roll dans mon cas.

   Exemple de configuration pour mon cas:

   /tmp/output.txt {
       notifempty
       missingok
       size 1G
       copytruncate
       start 0
       rotate 15
       compress
   }
   

3. Configurez votre travail cron dans le /etc/crontabfichier

   *  *  *  *  * root /usr/sbin/logrotate /etc/logrotate.d/output_roll
   

   Cela vérifiera le fichier toutes les minutes. Vous pouvez vous adapter à vos besoins.

4. Le démarrer:

   $> service crond restart
   

5. C'est ça

Remarque: J'ai également eu un problème avec SELinux étant défini sur SELINUX=enforcing, je l'ai donc défini sur SELINUX=disabled.

J'ai écrit un logrotee ce week-end. Je ne le ferais probablement pas si j'avais lu l'excellente réponse de @JdeBP et multilog.

Je me suis concentré sur sa légèreté et sa capacité à bzip2 ses morceaux de sortie comme:

verbosecommand | logrotee \
  --compress "bzip2 {}" --compress-suffix .bz2 \
  /var/log/verbosecommand.log

Cependant, il reste encore beaucoup à faire et à tester.