J'utilise s3cmd
pour télécharger sur S3:
# s3cmd put 1gb.bin s3://my-bucket/1gb.bin
1gb.bin -> s3://my-bucket/1gb.bin [1 of 1]
366706688 of 1073741824 34% in 371s 963.22 kB/s
Je télécharge depuis Linode, qui a une limite de bande passante sortante de 50 Mo / s selon le support (environ 6 Mo / s).
Pourquoi la vitesse de téléchargement vers S3 est-elle si lente et comment puis-je les améliorer?
Mise à jour:
Le téléchargement du même fichier via SCP vers une instance m1.medium EC2 (SCP de mon Linode vers le lecteur EBS de l'instance) donne environ 44 Mb / s selon iftop
(toute compression effectuée par le chiffrement n'est pas un facteur).
Traceroute:
voici une traceroute vers le serveur vers lequel il est téléchargé (selon tcpdump
).
# traceroute s3-1-w.amazonaws.com. traceroute vers s3-1-w.amazonaws.com. (72.21.194.32), 30 sauts maximum, paquets de 60 octets 1207.99.1.13 (207.99.1.13) 0,635 ms 0,743 ms 0,723 ms 2207.99.53.41 (207.99.53.41) 0,683 ms 0,865 ms 0,915 ms 3 vlan801.tbr1.mmu.nac.net (209.123.10.9) 0,397 ms 0,541 ms 0,527 ms 4 0.e1-1.tbr1.tl9.nac.net (209.123.10.102) 1.400 ms 1.481 ms 1.508 ms 5 0.gi-0-0-0.pr1.tl9.nac.net (209.123.11.62) 1,602 ms 1,677 ms 1,699 ms 6 equinix02-iad2.amazon.com (206.223.115.35) 9,393 ms 8,925 ms 8,900 ms 7 72.21.220.41 (72.21.220.41) 32,610 ms 9,812 ms 9,789 ms 8 72.21.222.141 (72.21.222.141) 9,519 ms 9,439 ms 9,443 ms 9 72.21.218.3 (72.21.218.3) 10.245 ms 10.202 ms 10.154 ms dix * * * 11 * * * 12 * * * 13 * * * 14 * * * 15 * * * 16 * * * 17 * * * 18 * * * 19 * * * 20 * * * 21 * * * 22 * * * 23 * * * 24 * * * 25 * * * 26 * * * 27 * * * 28 * * * 29 * * * 30 * * *
La latence semble raisonnable, au moins jusqu'à ce que le serveur cesse de répondre aux requêtes ping.
traceroute
? La file d'attente d'envoi de votre côté de la connexion TCP est-elle presque pleine ou presque vide? Avec quelques tests très simples, vous pouvez rapidement réduire le problème.