Exécuter la commande lorsqu'un fichier change

J'ai un scénario où je télécharge des fichiers .csv dans un dossier spécifique, / tmp / data_upload, tous les jours, et les anciens fichiers sont remplacés par le nouveau.

J'ai besoin d'exécuter un script Python une fois les données téléchargées. Pour cela, j'ai une idée de créer un travail cron et de surveiller les changements dans le fichier. J'ai essayé d'utiliser inotify, mais je ne suis pas beaucoup dans le domaine Unix. Comment puis je faire ça?

J'ai besoin d'exécuter le script test.py une fois qu'il y a un changement de date d'un fichier dans le dossier de téléchargement, par exemple, / tmp / data_upload.

Vous pourriez avoir besoin d'incrond (démon cron inotify) qui surveillera les modifications sur les fichiers et exécutera ensuite les scripts.

Incrond peut surveiller ajouter de nouveaux fichiers, modifier, supprimer et bien d'autres. Cet article montre quel événement incrond peut surveiller avec un exemple.

Exemple pour votre cas, vous pouvez créer le fichier /etc/incron.d/data_uploadavec le contenu

/tmp/data_upload IN_CREATE,IN_MODIFY /path/to/test.py 

Vous pouvez utiliser entr pour exécuter automatiquement le script chaque fois qu'un fichier change en s'exécutant ls /tmp/data_upload | entr -p script.pyune fois au démarrage.

Site Web du projet: http://eradman.com/entrproject/

Page de manuel en ligne: https://www.systutorials.com/docs/linux/man/1-entr/

L' utilitaire de ligne de commande watchexec( https://crates.io/crates/watchexec ) ressemble exactement à ce dont vous avez besoin, bien que je pense que pour l'installer, vous devez avoir installé les outils de construction Rust sur votre machine, ce qui peut être un dealbreaker

Mon approche générale serait de jouer avec l' findutilitaire Unix classique . Par exemple, la commande

find /tmp/upload_data/*.csv -mtime -1 -exec /home/myname/test.py

trouvera tous les .csvfichiers /tmp/upload_dataqui ont été modifiés il y a moins d'un jour et exécutera votre test.pys'il en trouve. Bien sûr, si votre test.pyfichier se trouve dans un autre répertoire, vous souhaitez mettre à jour votre chemin d'accès en conséquence.

Si vous exécutez votre crontravail plus d'une fois par jour, vous pouvez utiliser l' mminoption findpour spécifier la durée maximale depuis la modification en minutes. Par exemple,

find /tmp/upload_data/*.csv -mmin -60 -exec /home/myname/test.py

recherchera les .csvfichiers qui ont été modifiés il y a moins de 60 minutes - utile si cron exécute le travail toutes les heures.

Deux avertissements équitables sont en règle: Premièrement, cela n'attrapera pas les .csvfichiers que vous avez entièrement supprimés. Vous voudrez peut-être les vérifier séparément. Deuxièmement, je n'ai pas eu le temps de tester tout cela. Attendez-vous à des fautes de frappe dans mon code que vous devrez déboguer par vous-même.