Comment additionner rapidement tous les nombres d'un fichier?

J'ai un fichier qui contient plusieurs milliers de numéros, chacun sur sa propre ligne:

34
42
11
6
2
99
...

Je cherche à écrire un script qui imprimera la somme de tous les nombres du fichier. J'ai une solution, mais elle n'est pas très efficace. (Cela prend plusieurs minutes.) Je recherche une solution plus efficace. Aucune suggestion?

Pour un monoplace Perl, c'est essentiellement la même chose que la awksolution dans la réponse d'Ayman Hourieh :

 % perl -nle '$sum += $_ } END { print $sum'

Si vous êtes curieux de savoir ce que font les monolignes Perl, vous pouvez les analyser:

 %  perl -MO=Deparse -nle '$sum += $_ } END { print $sum'

Le résultat est une version plus verbeuse du programme, sous une forme que personne n'écrirait jamais seul:

BEGIN { $/ = "\n"; $\ = "\n"; }
LINE: while (defined($_ = <ARGV>)) {
    chomp $_;
    $sum += $_;
}
sub END {
    print $sum;
}
-e syntax OK

Juste pour rire, j'ai essayé cela avec un fichier contenant 1 000 000 de numéros (compris entre 0 et 9 999). Sur mon Mac Pro, il revient pratiquement instantanément. C'est dommage, car j'espérais que l'utilisation mmapserait très rapide, mais c'est juste en même temps:

use 5.010;
use File::Map qw(map_file);

map_file my $map, $ARGV[0];

$sum += $1 while $map =~ m/(\d+)/g;

say $sum;

Vous pouvez utiliser awk:

awk '{ sum += $1 } END { print sum }' file

Aucune solution n'a été utilisée jusqu'à présent paste. En voici un:

paste -sd+ filename | bc

Par exemple, calculez Σn où 1 <= n <= 100000:

$ seq 100000 | paste -sd+ | bc -l
5000050000

(Pour les curieux, seq nimprimerait une séquence de nombres de 1à ndonné un nombre positif n.)

Juste pour le plaisir, comparons-le:

$ for ((i=0; i<1000000; i++)) ; do echo $RANDOM; done > random_numbers

$ time perl -nle '$sum += $_ } END { print $sum' random_numbers
16379866392

real    0m0.226s
user    0m0.219s
sys     0m0.002s

$ time awk '{ sum += $1 } END { print sum }' random_numbers
16379866392

real    0m0.311s
user    0m0.304s
sys     0m0.005s

$ time { { tr "\n" + < random_numbers ; echo 0; } | bc; }
16379866392

real    0m0.445s
user    0m0.438s
sys     0m0.024s

$ time { s=0;while read l; do s=$((s+$l));done<random_numbers;echo $s; }
16379866392

real    0m9.309s
user    0m8.404s
sys     0m0.887s

$ time { s=0;while read l; do ((s+=l));done<random_numbers;echo $s; }
16379866392

real    0m7.191s
user    0m6.402s
sys     0m0.776s

$ time { sed ':a;N;s/\n/+/;ta' random_numbers|bc; }
^C

real    4m53.413s
user    4m52.584s
sys 0m0.052s

J'ai abandonné la course sed après 5 minutes

J'ai plongé lua, et c'est rapide:

$ time lua -e 'sum=0; for line in io.lines() do sum=sum+line end; print(sum)' < random_numbers
16388542582.0

real    0m0.362s
user    0m0.313s
sys     0m0.063s

et pendant que je mets à jour ça, ruby:

$ time ruby -e 'sum = 0; File.foreach(ARGV.shift) {|line| sum+=line.to_i}; puts sum' random_numbers
16388542582

real    0m0.378s
user    0m0.297s
sys     0m0.078s

Tenez compte des conseils d'Ed Morton: utiliser $1

$ time awk '{ sum += $1 } END { print sum }' random_numbers
16388542582

real    0m0.421s
user    0m0.359s
sys     0m0.063s

vs utiliser $0

$ time awk '{ sum += $0 } END { print sum }' random_numbers
16388542582

real    0m0.302s
user    0m0.234s
sys     0m0.063s

Une autre option consiste à utiliser jq:

$ seq 10|jq -s add
55

-s( --slurp) lit les lignes d'entrée dans un tableau.

C'est tout simplement Bash:

sum=0
while read -r line
do
    (( sum += line ))
done < file
echo $sum

Voici un autre doublure

( echo 0 ; sed 's/$/ +/' foo ; echo p ) | dc

Cela suppose que les nombres sont des nombres entiers. Si vous avez besoin de décimales, essayez

( echo 0 2k ; sed 's/$/ +/' foo ; echo p ) | dc

Ajustez 2 au nombre de décimales nécessaires.

Je préfère utiliser le datamash GNU pour de telles tâches car il est plus succinct et lisible que perl ou awk. Par exemple

datamash sum 1 < myfile

où 1 désigne la première colonne de données.

$ perl -MList::Util=sum -le 'print sum <>' nums.txt

Je préfère utiliser R pour cela:

$ R -e 'sum(scan("filename"))'

cat nums | perl -ne '$sum += $_ } { print $sum'

(identique à la réponse de brian d foy, sans 'END')

Plus succinct:

# Ruby
ruby -e 'puts open("random_numbers").map(&:to_i).reduce(:+)'

# Python
python -c 'print(sum(int(l) for l in open("random_numbers")))'

Perl 6

say sum lines

~$ perl6 -e '.say for 0..1000000' > test.in

~$ perl6 -e 'say sum lines' < test.in
500000500000

Juste pour le plaisir, faisons-le avec PDL , le moteur mathématique de Perl!

perl -MPDL -E 'say rcols(shift)->sum' datafile

rcolslit les colonnes dans une matrice (1D dans ce cas) et sum(surprise) additionne tous les éléments de la matrice.

Voici une solution utilisant python avec une expression de générateur. Testé avec un million de numéros sur mon vieux portable cruddy.

time python -c "import sys; print sum((float(l) for l in sys.stdin))" < file

real    0m0.619s
user    0m0.512s
sys     0m0.028s

Je ne pouvais pas simplement passer ... Voici mon one-liner Haskell. C'est en fait assez lisible:

sum <$> (read <$>) <$> lines <$> getContents

Malheureusement, il n'y a pas ghci -eà l'exécuter, il a donc besoin de la fonction principale, de l'impression et de la compilation.

main = (sum <$> (read <$>) <$> lines <$> getContents) >>= print

Pour clarifier, nous lisons l'intégralité de input ( getContents), divisé par lines, readsous forme de nombres et sum. <$>est fmapopérateur - nous l'utilisons à la place de l'application de fonction habituelle car bien sûr, tout cela se produit dans IO. reada besoin d'un supplément fmap, car il est également dans la liste.

$ ghc sum.hs
[1 of 1] Compiling Main             ( sum.hs, sum.o )
Linking sum ...
$ ./sum 
1
2
4
^D
7

Voici une étrange mise à niveau pour le faire fonctionner avec des flotteurs:

main = ((0.0 + ) <$> sum <$> (read <$>) <$> lines <$> getContents) >>= print

$ ./sum 
1.3
2.1
4.2
^D
7.6000000000000005

sed ':a;N;s/\n/+/;ta' file|bc

Exécution de scripts R

J'ai écrit un script R pour prendre les arguments d'un nom de fichier et additionner les lignes.

#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(as.numeric(readLines(file)))

Cela peut être accéléré avec le package "data.table" ou "vroom" comme suit:

#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(data.table::fread(file))

#! /usr/local/bin/R
file=commandArgs(trailingOnly=TRUE)[1]
sum(vroom::vroom(file))

Analyse comparative

Mêmes données d'analyse comparative que @glenn jackman .

for ((i=0; i<1000000; i++)) ; do echo $RANDOM; done > random_numbers

Par rapport à l'appel R ci-dessus, exécuter R 3.5.0 en tant que script est comparable à d'autres méthodes (sur le même serveur Linux Debian).

$ time R -e 'sum(scan("random_numbers"))'  
 0.37s user
 0.04s system
 86% cpu
 0.478 total

Script R avec readLines

$ time Rscript sum.R random_numbers
  0.53s user
  0.04s system
  84% cpu
  0.679 total

Script R avec data.table

$ time Rscript sum.R random_numbers     
 0.30s user
 0.05s system
 77% cpu
 0.453 total

Script R avec vroom

$ time Rscript sum.R random_numbers     
  0.54s user 
  0.11s system
  93% cpu
  0.696 total

Comparaison avec d'autres langues

Pour référence ici, comme d'autres méthodes suggérées sur le même matériel

Python 2 (2.7.13)

$ time python2 -c "import sys; print sum((float(l) for l in sys.stdin))" < random_numbers 
 0.27s user 0.00s system 89% cpu 0.298 total

Python 3 (3.6.8)

$ time python3 -c "import sys; print(sum((float(l) for l in sys.stdin)))" < random_number
0.37s user 0.02s system 98% cpu 0.393 total

Rubis (2.3.3)

$  time ruby -e 'sum = 0; File.foreach(ARGV.shift) {|line| sum+=line.to_i}; puts sum' random_numbers
 0.42s user
 0.03s system
 72% cpu
 0.625 total

Perl (5.24.1)

$ time perl -nle '$sum += $_ } END { print $sum' random_numbers
 0.24s user
 0.01s system
 99% cpu
 0.249 total

Awk (4.1.4)

$ time awk '{ sum += $0 } END { print sum }' random_numbers
 0.26s user
 0.01s system
 99% cpu
 0.265 total
$ time awk '{ sum += $1 } END { print sum }' random_numbers
 0.34s user
 0.01s system
 99% cpu
 0.354 total

C (clang version 3.3; gcc (Debian 6.3.0-18) 6.3.0)

 $ gcc sum.c -o sum && time ./sum < random_numbers   
 0.10s user
 0.00s system
 96% cpu
 0.108 total

Mettre à jour avec des langues supplémentaires

Lua (5.3.5)

$ time lua -e 'sum=0; for line in io.lines() do sum=sum+line end; print(sum)' < random_numbers 
 0.30s user 
 0.01s system
 98% cpu
 0.312 total

tr (8.26) doit être chronométré en bash, non compatible avec zsh

$time { { tr "\n" + < random_numbers ; echo 0; } | bc; }
real    0m0.494s
user    0m0.488s
sys 0m0.044s

sed (4.4) doit être chronométré en bash, non compatible avec zsh

$  time { head -n 10000 random_numbers | sed ':a;N;s/\n/+/;ta' |bc; }
real    0m0.631s
user    0m0.628s
sys     0m0.008s
$  time { head -n 100000 random_numbers | sed ':a;N;s/\n/+/;ta' |bc; }
real    1m2.593s
user    1m2.588s
sys     0m0.012s

note: les appels sed semblent fonctionner plus rapidement sur les systèmes avec plus de mémoire disponible (notez les petits ensembles de données utilisés pour comparer sed)

Julia (0.5.0)

$ time julia -e 'print(sum(readdlm("random_numbers")))'
 3.00s user 
 1.39s system 
 136% cpu 
 3.204 total
$  time julia -e 'print(sum(readtable("random_numbers")))'
 0.63s user 
 0.96s system 
 248% cpu 
 0.638 total

Notez que comme dans R, les méthodes d'E / S de fichiers ont des performances différentes.

C ++ "one-liner":

#include <iostream>
#include <iterator>
#include <numeric>
using namespace std;

int main() {
    cout << accumulate(istream_iterator<int>(cin), istream_iterator<int>(), 0) << endl;
}

Un autre pour le plaisir

sum=0;for i in $(cat file);do sum=$((sum+$i));done;echo $sum

ou un autre bash seulement

s=0;while read l; do s=$((s+$l));done<file;echo $s

Mais la solution awk est probablement la meilleure car elle est la plus compacte.

C gagne toujours pour la vitesse:

#include <stdio.h>
#include <stdlib.h>

int main(int argc, char **argv) {
    ssize_t read;
    char *line = NULL;
    size_t len = 0;
    double sum = 0.0;

    while (read = getline(&line, &len, stdin) != -1) {
        sum += atof(line);
    }

    printf("%f", sum);
    return 0;
}

Timing pour les nombres 1M (même machine / entrée que ma réponse python):

$ gcc sum.c -o sum && time ./sum < numbers 
5003371677.000000
real    0m0.188s
user    0m0.180s
sys     0m0.000s

Avec Ruby:

ruby -e "File.read('file.txt').split.inject(0){|mem, obj| mem += obj.to_f}"

Je ne sais pas si vous pouvez obtenir beaucoup mieux que cela, étant donné que vous devez lire l'intégralité du fichier.

$sum = 0;
while(<>){
   $sum += $_;
}
print $sum;

Je n'ai pas testé cela mais ça devrait marcher:

cat f | tr "\n" "+" | sed 's/+$/\n/' | bc

Vous devrez peut-être ajouter "\ n" à la chaîne avant bc (comme via echo) si bc ne traite pas EOF et EOL ...

En voici une autre:

open(FIL, "a.txt");

my $sum = 0;
foreach( <FIL> ) {chomp; $sum += $_;}

close(FIL);

print "Sum = $sum\n";

Vous pouvez le faire avec Alacon - utilitaire de ligne de commande pour Alasql base de données .

Cela fonctionne avec Node.js, vous devez donc installer Node.js puis Alasql package :

Pour calculer la somme à partir du fichier TXT, vous pouvez utiliser la commande suivante:

> node alacon "SELECT VALUE SUM([0]) FROM TXT('mydata.txt')"

Il n'est pas plus facile de remplacer toutes les nouvelles lignes par +, d'ajouter un 0et de l'envoyer à l' Rubyinterpréteur?

(sed -e "s/$/+/" file; echo 0)|irb

Si vous n'en avez pas irb, vous pouvez l'envoyer à bc, mais vous devez supprimer toutes les nouvelles lignes sauf la dernière (de echo). Il est préférable de l'utiliser trpour cela, sauf si vous avez un doctorat sed.

(sed -e "s/$/+/" file|tr -d "\n"; echo 0)|bc

In Go:

package main

import (
    "bufio"
    "fmt"
    "os"
    "strconv"
)

func main() {
    scanner := bufio.NewScanner(os.Stdin)
    sum := int64(0)
    for scanner.Scan() {
        v, err := strconv.ParseInt(scanner.Text(), 10, 64)
        if err != nil {
            fmt.Fprintf(os.Stderr, "Not an integer: '%s'\n", scanner.Text())
            os.Exit(1)
        }
        sum += v
    }
    fmt.Println(sum)
}

Variante bash

raw=$(cat file)
echo $(( ${raw//$'\n'/+} ))

$ wc -l file
10000 file

$ time ./test
323390

real    0m3,096s
user    0m3,095s
sys     0m0,000s

En shell utilisant awk, j'ai utilisé le script ci-dessous pour le faire:

    #!/bin/bash


total=0;

for i in $( awk '{ print $1; }' <myfile> )
do
 total=$(echo $total+$i | bc )
 ((count++))
done
echo "scale=2; $total " | bc