Mon problème est le suivant: je travaille sur un projet de science des données et j'ai du code qui effectue l'analyse et le traitement des données. Si je prends trop de données à traiter en même temps, le processus commence à consommer trop de mémoire (mais pas de processeur) et Windows se bloque. Je ne peux rien faire d'autre que de le forcer à s'éteindre en appuyant sur le bouton d'alimentation.
Est-ce un problème dans les paramètres de mon système d'exploitation ou s'agit-il d'un comportement habituel?
Si cela est habituel, existe-t-il un moyen de supprimer automatiquement un processus consommant trop de mémoire?
1
Bien sûr, c'est
—
Moab
Cliquez sur le lien bleu "est vrai" dans mon commentaire ci-dessus.
—
Moab
C'est un comportement habituel. Si vous analysez des données volumineuses, vous devez tenir compte des limitations de mémoire lors de la conception de votre analyse / code. Pour les ensembles de données trop volumineux pour tenir dans la mémoire principale, vous devez utiliser des algorithmes / programmes / services qui distribuent le flux de données vers d'autres ordinateurs ou au moins aborder vos données de manière à pouvoir fonctionner dans un nœud avec des fragments plus petits. plutôt que l'ensemble des données. Voir MapReduce et les implémentations comme Hadoop .
—
Excellll
Mon programme traite des blocs de données par bloc, mais comment puis-je connaître le maximum? taille de bloc autorisée avant d'exécuter le code? En ce moment, j'utilise la conjecture à l'aveugle et chaque fois que ma conjecture était fausse, je dois réinitialiser le PC.
—
Serhiy