J'ai un problème avec un script python qui est tué en raison de ce que je crois, de la mémoire disponible insuffisante, mais j'espère qu'il s'agit d'un bogue.
Description comme suit: J'ai un script python qui charge en mémoire 12 gros fichiers (1 à 1,5 Gb). La raison en est qu’il s’agit d’un fichier d’expérimentation et que j’effectue des analyses croisées. Je pouvais le faire sans problème sur ma machine actuelle avec OSX High Sierra. Mais depuis que je suis passé à Mojave, le script a échoué.
Le script échoue lors du chargement des fichiers. Un avertissement est émis (voir image) qui indique que mon espace disque est extrêmement bas. J'ai déjà pu exécuter le script avec moins de 50 Go d'espace disque disponible. J'ai maintenant effacé beaucoup de données et dispose actuellement de plus de 300 Go d'espace libre. Quelques secondes après l'émission de l'avertissement, le script est terminé.
Juste avant la fin, si je suis le processus de script dans Activity Monitor, la taille de la mémoire virtuelle est d'environ 140 Go, la mémoire utilisée de 13,61 Go, les fichiers en mémoire cache de 2,0 Go et le transfert utilisé de 11,43 Go. Dans le terminal, il n’ya pas de trace de pile, il est simplement écrit «tué: 9». Donc, je suppose que ce n’est pas un problème avec python mais avec le système d’exploitation.
Je cours: MacBook Pro (Retina, 15 pouces, mi-2015) Intel Core i7 à 2,5 GHz 16 Go de RAM DDR3 à 1600 MHz
Python env est un env. Virtuel anaconda conda 4.5.11 Python 3.6.3
Étant donné que je n’obtiens aucune trace de pile et que le seul avertissement est celui de «l’espace disque extrêmement bas», je ne sais pas comment attaquer ce problème. Bien sûr, je peux réécrire le script et effectuer un chargement paresseux de données partielles selon les besoins, mais cela prendra beaucoup de temps et la racine de ce problème serait non résolue.
Aucune suggestion?
MODIFIER: Après une nuit dans mon sac à dos, il fonctionne maintenant. Aucune idée pourquoi.