Est-ce que le téléchargement et / ou l’importation de 5 Go d’images JPEG prend autant de temps que 5 Go de texte brut?


39

Je me demandais simplement, car pour l'instant, j'importais toutes mes photos d'un CD que mon père avait gravé pour moi. J'étais curieux de savoir si 5 Go de photos prenaient exactement le même temps que 5 Go de texte lors de ce type de transfert. Puisqu'il peut y avoir une "surcharge" associée aux différents formats de fichier même s'ils ont cumulativement la même taille ...

edit: ce n'est pas un CD-rom mais un DVD-R


11
5 Go est 5 Go sauf si ce n'est pas.
Xavierjazz

2
Je ne peux pas discuter avec ça ...
Thomas Padron-McCarthy

35
Le plus lourd: une tonne de briques ou une tonne de plumes?
Graham Borland

1
Voir ma réponse (et les autres bonnes qui mettent en lumière différents facteurs) avant de rejeter cela comme une question manifestement mauvaise. 5 Go peut être 5 Go, mais l'efficacité du tuyau dans lequel les données sont acheminées fait une différence.
David Stratton

1
@ Graham: qui est plus lourd, une livre de plumes ou une livre d'or? (réponse)
BlueRaja - Danny Pflughoeft

Réponses:


75

La réponse est "ça dépend". Cela dépend de ce que vous entendez par "télécharger".

Si vous téléchargez à partir d'un site Web, certains sites compressent automatiquement les fichiers "à la volée", et le texte se compresse très bien, alors que le format JPEG est déjà compressé, il ne sera donc pas compressé du tout. Dans ce cas, il y aura une grande différence.

Si vous utilisez simplement une commande de copie pour copier des fichiers d'un ordinateur à un autre, il n'y aura aucune différence. Toutefois, si vous utilisez un outil spécialisé, cela dépend du fait que cet outil utilise ou non la compression automatique. La seule différence entre le format jpeg et le texte est la possibilité de compresser les fichiers.

Peu importe la nature du fichier, il n’ya pas de différence dans les «frais généraux» associés au transfert de fichiers.


29
Dans le cas d'une copie, si la taille globale est la même, le nombre de fichiers a plus de chances d'avoir un impact, car le transfert des métadonnées fichier / dossier entraîne une surcharge.
Chris Nava

2
@ chris-nava: Oui, c'est très vrai. Je n'ai considéré que des fichiers de la même taille, mais vous avez raison de souligner cette nuance.
haimg

2
@DarkTemplar: il inclut les métadonnées. Presque toujours. Habituellement, la quantité de métadonnées stockées "à l'extérieur" du fichier est assez limitée: nom du fichier, autorisations et quelques temps d'accès. De nombreux systèmes de fichiers ont la possibilité de stocker des méta-données arbitraires (même volumineuses) "à l'extérieur" du fichier, mais cela est rarement utilisé.
Joachim Sauer

4
Le mécanisme de transfert pourrait également être une source de retard. Par exemple, le partage de fichiers Windows (SMB) est BAD pour le transfert d’un grand nombre de petits fichiers alors que NFS ou FTP sont beaucoup plus rapides pour le même ensemble de fichiers.
Chris Nava

4
Je suis surpris que personne n'ait mentionné la possibilité qu'un anti-virus ajoute des frais généraux importants. De nombreuses applications antivirus analysent les fichiers JPEG à la recherche de virus et ignorent les documents texte. Cela pourrait certainement contribuer au facteur ça dépend .
Scott Rippey

17

Avec 5 Go de photos, vous parlerez probablement de quelques milliers de fichiers de taille raisonnable, disons 3 Mo + chacun. Si vous téléchargiez 5 Go de fichiers texte, vous vous attendriez généralement à ce que chaque fichier soit beaucoup plus petit. Donc, vous auriez probablement affaire à un ordre de grandeur ou à deux fichiers supplémentaires (des centaines de milliers ou des millions de fichiers).

La copie d'un grand nombre de petits fichiers prend plus de temps que la copie de la même quantité de données dans des fichiers plus volumineux. Il y a une surcharge raisonnable dans la création de chaque fichier individuel.

Pas assez pour faire une différence énorme probablement, mais toujours une différence.


3
Je pense que cela peut faire une grande différence. Copier une centaine de fichiers texte de 30 Ko peut prendre beaucoup plus de temps que de copier un fichier de 3 Mo, en fonction de l'endroit où vous effectuez la copie.
Steven Noto

+1 Pour aborder le vrai problème ici. De loin la meilleure réponse.
artistoex

12

Le "ça dépend" en ftp est dans les détails les plus fins.

Le mode binaire ftp est juste un transfert direct et prendra le temps nécessaire pour 5 Go.

Si vous passez de Windows à Linux en tant que transfert de texte ftp (pour un texte étonnamment clair), ftp modifie en fait les fins de ligne de / r / n en / n et vice-versa. Il y a probablement un peu de surcharge dans la transmission en continu, mais avec 5 Go de texte, vous aurez moins à écrire sur le disque pour aller de win à lin lorsque vous supprimez un caractère par ligne, et davantage de lin à gagner lorsque vous ajoutez un caractère. par ligne.

Alors, est-ce 5 Go sous Linux? ou Windows?

Assez de pédantisme pour une nuit, aller au lit!


Comment sommes-nous arrivés à FTP? L'OP semble copier depuis le lecteur de DVD vers un lecteur local?
andynormancx

Du titre. 'C'était tard dans la nuit et j'ai répondu à la question, pas au paragraphe en dessous. Comme l'a fait l'affiche la plus votée dans ses paragraphes initiaux. Maintenant, pour copier d’un support à un autre ...
Fiasco Labs

3

Les fichiers eux-mêmes ne sont pas surchargés, mais certaines installations de stockage / transfert prennent en charge la compression automatique, ce qui peut introduire une différence.

Lors de la copie d'un DVD sur un lecteur non compressé, il n'y a pas de différence. Lors de la copie sur un lecteur NTFS compressé, le texte prend moins d'espace que les fichiers JPEG.

Lors du téléchargement depuis un serveur HTTP utilisant la compression, le téléchargement du texte prend moins de temps. Mais si le serveur n'utilise pas la compression, il n'y aura aucune différence.

En outre, en ce qui concerne les frais généraux, un million de petits fichiers d’une taille totale de 5 Go nécessiteront plus d’espace [réel] et généralement plus de temps pour la copie qu’un seul fichier de 5 Go, car ces 5 Go n’incluent pas l’espace nécessaire pour stocker les noms de fichier, les dates et d’autres métadonnées. .


3

Ceci est censé être un ajout aux autres réponses qui traitent de la compression, etc. en tant que facteurs qui affectent l'efficacité et le temps de téléchargement.

Un point qui n’a pas encore été mentionné est l’ efficacité des paquets . Je doute que la plupart des gens se soient même heurtés à cela, alors voici un bref aperçu.

Avant de nous aventurer dans l'utilisation de services Web, nous voulions connaître la différence d'efficacité entre leur utilisation et l'utilisation d'une connexion à une base de données plus «standard» (telle que OleDb, System.Data.SqlClient, JDBC, etc.). Notre gourou a mis en place des renifleurs de paquets afin de suivre les flux de données sur le réseau pour voir la différence.

Nous nous attendions à ce que l'utilisation de services Web soit moins efficace en raison du format binaire des autres types de connexion et de la surcharge des balises XML utilisées pour décrire les données.

Nous avons constaté que les services Web étaient, dans de nombreux cas, PLUS efficaces, du moins sur notre réseau. La différence était que lors du transfert de données binaires, certains des octets contenus dans les paquets étaient vides, mais lors de l'envoi de données textuelles, les paquets étaient utilisés plus efficacement.

Nous avons trouvé cela intéressant et l'avons essayé lors du transfert de différents types de fichiers. Nous avons également constaté qu'en règle générale, le texte brut envoyé sur le réseau utilisait toujours 100% des bits disponibles dans chaque paquet, les transferts binaires contenant souvent des bits inutilisés. Pourquoi cela, je ne pourrais pas vous le dire, mais plusieurs expériences l'ont confirmé.

Plusieurs commentaires sur la question ont semblé écarter ce fait comme une question manifestement erronée, mais ce n’est vraiment pas le cas. Même si la quantité de données reste la même, l'efficacité du tuyau est également importante.

Parce que je ne peux pas m'empêcher de faire des analogies qu'une personne non informaticienne comprendrait:

Une seule étagère dans un congélateur dans une épicerie a x quantité d'espace, mais vous pouvez installer plus de gallons de crème glacée sur une étagère si les récipients sont carrés que vous pouvez le faire s'ils sont ronds, en raison de l'espace inutilisé créé à l'aide de conteneurs. Nos tests, bien que contre-intuitifs au début, nous ont révélé ce que n'importe quel détaillant en épicerie aurait pu nous dire.


2
Quelle était la base de données impliquée? Différents SGBDR sont plus ou moins "efficaces en termes de réseau" que d'autres. Vous avez mesuré depuis l'établissement de la connexion ou simplement les données du jeu de données? Je suis vraiment curieux.
Fabricio Araujo

1

La sagesse traditionnelle dit que 5 Go est 5 Go. Cependant, il existe certains scénarios où ces deux types ne sont pas identiques; il s'agit d'une différence dans la structure des données des fichiers.

Tout d'abord, les fichiers JPEG sont compressés. Pour visualiser l'image, le fichier doit d'abord être décompressé, et pour la très grande majorité de ces images, vous devez disposer de tout le fichier pour ce faire. Certains JPEG progressifs offrent une image itérative plus nette au fur et à mesure de son chargement, mais ils ne sont plus utilisés à une époque où la connexion DSL et d'autres connexions haut débit sont très courantes. Le texte, par contre, est plus ou moins fluide; dès que vous avez un octet (ou deux ou quatre, selon le codage UTF utilisé), vous pouvez afficher ce caractère. Même les mécanismes de transfert de données les plus anciens peuvent charger du texte plus rapidement que vous ne pouvez le lire. Ainsi, un fichier JPEG de 5 Go prendrait plus de temps pour pouvoir afficher quelque chose qu'un fichier texte de 5 Go.

Deuxièmement, également parce que les fichiers JPEG sont compressés, ils ne fonctionnent pas bien avec les navigateurs ou les programmes / protocoles de transfert de fichiers qui compressent de grandes quantités de données avant la transmission. Vous pouvez le voir en compressant un fichier ZIP; À moins que le second processus ZIP ne soit configuré pour faire plus de compactage (le ralentir), vous ne verrez pas beaucoup de différence de taille. Cela signifie que lorsque vous utilisez l'un de ces outils, 5 Go n'est pas 5 Go; le format JPEG est toujours d'environ 5 Go, mais le texte peut être compressé, jusqu'à 1 Go ou moins. Si vous compariez 5 Go de fichiers bitmap à 5 Go de texte brut, la comparaison serait beaucoup plus proche.

Cependant, le simple transfert de 5 Go de fichiers d'un ordinateur à un autre à l'aide de NTP, FTP ou HTTP, sans aucune compression ni mécanisme de "rappel automatique", prendra globalement le même temps; toute différence résulterait de niveaux de trafic réseau différents à chaque seconde au cours de chaque transfert.


Je n'ai jamais entendu parler de JPG entrelacé. Etes-vous en train de confondre JPG progressif avec GIF / PNG entrelacé?
moelleux

La variante "JPEG progressif" est un format entrelacé très semblable au GIF / PNG entrelacé. Le terme "progressif" pour les JPEG prête à confusion, à cause des termes bien connus tels que "balayage progressif", "720p (rogressif)" et "1080p". Ces termes indiquent tous qu’une image entière est dessinée en pleine résolution en un seul passage au lieu de deux passages entrelacés, exactement le contraire du comportement d’affichage JPEG "progressif".
KeithS

1
Mais ce n'est pas comme ça que le JPEG progressif fonctionne. Ce n'est pas un format entrelacé / entrelacé comme GIF ou PNG (ou un DVD vidéo, d'ailleurs), c'est un raffinement itératif des blocs DCT. Un fichier JPEG progressif en cours de traitement offre une couverture complète en pixels, mais son débit est inférieur. JPEG ne traite pas non plus d'éléments contenus dans des lignes de balayage, tels que GIF ou PNG, il les traite comme une collection de groupes de pixels carrés.
moelleux

Tomate, tomahto. L'image est initialement affichée à l'aide d'un sous-ensemble des données d'image complètes qui sont importées tôt, puis affinée avec le reste. C'était mon point. Qu'il s'agisse de lignes ou de blocs, il s'agit d'un style de chargement en plusieurs passes, par opposition à un style en un seul passage.
KeithS

Ce n'est pas seulement une différence de terminologie mineure, comme vous l'imaginez, mais cela se transforme en argument de mur de briques sans raison valable. J'essayais seulement de suggérer une modification mineure que vous souhaitiez apporter à votre réponse, sans chercher à vous faufiler.
Moelleux

0

5 Go à partir d'un lecteur optique doivent être identiques - en format JPG ou texte. Transféré via le réseau, je me souviens de l'époque des modems, qui comportaient, en fonction du matériel, une compression intégrée, de sorte qu'un fichier JPG de 5 Go déjà compressé ne serait pas davantage compressé, mais qu'un texte de 5 Go aurait normalement beaucoup plus de potentiel. compression.

Alors, pourquoi n'est-ce pas utilisé pour les disques durs? Peut-être auriez-vous besoin de trop de logique sur le disque dur, trop de compression pour chauffer trop le disque dur et trop facile pour compresser les données explicitement, si vous le souhaitez? Peut-être qu'il existe pour certains lecteurs?

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.