J'ai un script Python qui importe un gros fichier CSV, puis compte le nombre d'occurrences de chaque mot dans le fichier, puis exporte les comptes vers un autre fichier CSV.
Mais ce qui se passe, c'est qu'une fois que cette partie de comptage est terminée et que l'exportation commence, il est dit Killed
dans le terminal.
Je ne pense pas que ce soit un problème de mémoire (si c'était le cas, je suppose que j'aurais une erreur de mémoire et non Killed
).
Se pourrait-il que le processus prenne trop de temps? Si tel est le cas, existe-t-il un moyen de prolonger le délai d'expiration afin que je puisse éviter cela?
Voici le code:
csv.field_size_limit(sys.maxsize)
counter={}
with open("/home/alex/Documents/version2/cooccur_list.csv",'rb') as file_name:
reader=csv.reader(file_name)
for row in reader:
if len(row)>1:
pair=row[0]+' '+row[1]
if pair in counter:
counter[pair]+=1
else:
counter[pair]=1
print 'finished counting'
writer = csv.writer(open('/home/alex/Documents/version2/dict.csv', 'wb'))
for key, value in counter.items():
writer.writerow([key, value])
Et ce qui Killed
se passe après finished counting
s'est imprimé, et le message complet est:
killed (program exited with code: 137)