Quelle est la pertinence des scores et des tests DxOMark?

La cote du capteur DxOMark me semble un peu bizarre. Ils ont récemment évalué le capteur du Nikon D3300 au même score que le Canon 1Dx, ce que je trouve peu susceptible de refléter leurs performances, ce qui m'a également rendu très sceptique quant à leur système de notation.

J'apprécie leurs mesures du capteur, ce qui donne un outil de référence pour comparer différents capteurs de caméra, mais sont-ils vraiment pertinents? Pour autant que je sache, il n'y a aucune documentation sur la façon dont le score est calculé à partir de la plage dynamique, de la sensibilité des couleurs et des scores ISO en basse lumière. L'intérêt de DxO Labs réside également dans la vente de leurs logiciels, pas directement dans la fourniture d'outils d'analyse comparative scientifique et pourrait très bien être orienté vers un certain fabricant.

Quelle est l'utilité des scores DxOMark et comment pouvez-vous l'utiliser pour comparer différentes caméras?

Les "scores" primaires de DXOMark sont totalement inutiles. IGNORE LES. C'est un effort vain d'essayer de réduire une entité complexe comme un reflex numérique à un seul numéro scalaire qui vous dit tout à ce sujet. C'est une erreur. Il y a trop de facteurs à considérer et les facteurs les plus importants pour un photographe donné diffèrent. Un seul score défait entièrement l'objectif de l'exécution des mesures en premier lieu.

En ce qui concerne les autres partitions de DXO, telles que la faible luminosité et le paysage et ainsi de suite, prenez-les avec une forte dose de sel. Leurs scores généraux sont fortement pondérés et souvent basés sur des dérivations de mesures plutôt que sur des mesures réelles. Par exemple, le score Paysage est basé sur la "mesure" Print DR. Le problème est que DXO ne mesure pas réellement Print DR, car il n'est pas basé sur des échantillons pris à partir d'images réelles sous-échantillonnées. Print DR est une simple extrapolation mathématique à partir de la VRAIE plage dynamique mesurée du capteur.

Par conséquent, Print DR ne vous dit rien sur le capteur. Lorsque DXO indique que le D800 et le D600 ont 14,4 arrêts de DR, c'est-à-dire Print DR, qui est extrapolé à partir du DR matériel réel, qui est de 13,2 arrêts. La même chose vaut pour les capteurs Canon. Lorsque DXO vous indique que le capteur a 12 arrêts de DR, ce n'est vraiment pas le cas. En réalité, la plupart des capteurs Canon, au niveau matériel, ont environ 10,95 arrêts de DR.

Le problème est cependant pire que cela. Une grande partie des informations de notation de la profondeur et de la sensibilité des couleurs est pondérée, tout comme la plupart des scores ISO. Les poids sont basés sur des caméras atteignant certains seuils, tels que le SNR à un certain ISO étant supérieur à un certain niveau. Cela accorde un certain "bonus" au score de cette caméra. Au moment où n'importe quel type de bonus basé sur le poids entre dans le jeu, votre capacité à comparer directement n'importe quoi par n'importe quel score disparaît complètement. Vous êtes maintenant sur un terrain de jeu non linéaire où vous ne savez vraiment pas si cet appareil photo Nikon avec un score de 95 a été fortement pondéré par rapport à cet appareil photo Canon ici avec un score de 80.

En ce qui concerne les mesures réelles, les informations DXO sont parmi les meilleures disponibles. Leurs mesures de SNR, d'écran DR, de sensibilité aux couleurs, etc. sont assez solides, car elles sont toutes prises directement à partir de plusieurs échantillons d'images RAW pour chaque caméra testée. Leur méthodologie de test est assez rigoureuse et rien n'indique qu'une partie de leur méthodologie soit mise en doute. Scientifiquement, en ce qui concerne la façon dont ils testent et ce qu'ils mesurent, DXO a de bonnes pratiques et des informations solides.

DXO est vraiment un sac mixte. Ils peuvent avoir des pratiques de test solides, mais leur notation, étant donné qu'elle est souvent basée sur des informations pondérées dérivées mathématiquement et le fait que quelques-uns de leurs scores reçoivent souvent des points "bonus" simplement pour atteindre certains seuils, avilit complètement le point entier de ce que DXO fait: Pour produire un score linéaire pour chaque caméra qui permet aux caméras d'être facilement comparées. C'était un concept imparfait au départ, la notation à un seul numéro, mais ils ont tellement aggravé la façon dont ils gèrent le processus de notation.

Score global

J'ignore généralement le score global, car il est beaucoup trop général si vous comprenez l'un des scores individuels.

Le score global est fonction d'une variété de tests (assez) déterministes, chacun étant assez informatif, et la plupart (sinon tous?) Ont des unités de mesure claires. Mais ensuite, ils génèrent un «score» qui combine ces métriques, avec différentes dimensions. C'est un peu comme comparer une voiture à une autre, en ajoutant leur accélération maximale (m / s / s), la taille de leur réservoir de carburant (L), leur vitesse de pointe (km / h) et le nombre de passagers qu'ils peuvent transporter. Tout le monde va vouloir pondérer les différentes composantes différemment, de sorte que le score global devient assez hors de propos.

Utiliser les scores de cas

Comme vous le dites, le Canon 1DX a obtenu le même score global que le Nikon D3300, mais notez quelques grandes différences, même juste sur la page "Scores":

• Le score "Paysage" (alias Dynamic Range) est de 11,8 vs 12,8 EV (1 arrêt de mieux sur D3300)
• Le score "Sports" (alias ISO Low-Light) est de 2786 vs 1385 ISO (1 arrêt de mieux sur 1DX)

Ces « scores de cas d'utilisation » sont déjà beaucoup plus spécifiques et dimensionnellement sensibles, et permettent de bien meilleures comparaisons.

Cela dit, ils sont aussi

1. pas nécessairement facile à comprendre, et
2. pas nécessairement une mesure utile pour toutes les applications

Par exemple, le cas d'utilisation "Sports / ISO faible luminosité" est

ISO faible luminosité est le réglage ISO le plus élevé pour un appareil photo qui lui permet d'atteindre un SNR de 30 dB tout en conservant une bonne plage dynamique de 9 EV et une profondeur de couleur de 18 bits.

Ces valeurs choisies sont arbitraires, mais la partie utile est qu'elles sont utilisées de manière cohérente pour mesurer tous les capteurs de la même manière. Cela signifie que si vous ne regardez qu'une seule valeur, vous êtes au moins en mesure de comparer des pommes avec des pommes. Dans quelle mesure le capteur A et le capteur B se comparent-ils pour un point de données particulier? C'est une comparaison utile car les capteurs ont tous tendance à mieux fonctionner à des ISO plus bas, et tous ont tendance à avoir des retombées similaires à mesure que vous augmentez l'ISO, etc. Mais vous comptez vraiment sur ces performances similaires pour tous les capteurs pour que cela soit utile comparaison à usage général.

Des mesures

Si vous allez dans la section "Mesures" de la comparaison, vous commencerez à voir des comparaisons plus utiles. Beaucoup de données, à beaucoup de conditions différentes. C'est là que vous pouvez (en quelque sorte) commencer à répondre à des questions comme "Combien moins de bruit ISO pourrais-je obtenir de la caméra A par rapport à la caméra B, à 6400 ISO?". Ou, si vous savez déjà que vous êtes d'accord avec votre appareil photo actuel jusqu'à ISO 1600, alors vous pouvez utiliser le SNR pour votre appareil photo à 1600 ISO comme référence pour comparer d'autres appareils photo (dans ce cas, il y aura un montant similaire du bruit d'image dans un 1DX à ISO 3200 comme il y en aurait dans un D3300 à ISO 1600). Eh bien, même ce n'est pas tout à fait vrai, car les données SNR sont pour 18% de gris!

La comparaison des performances entre des appareils complexes, avec de nombreuses dimensions / degrés de liberté est un problème intrinsèquement très difficile. Vous pouvez souvent comparer assez bien les tests individuels, mais le problème est de trouver des tests généralisables qui décrivent rapidement et facilement les performances relatives ou absolues. Je pense que les "Scores de cas d'utilisation" y parviennent, dans une large mesure, mais uniquement parce que la technologie de la plupart des capteurs est assez similaire, vous permettant de faire des généralisations comme celle ci-dessus à propos du 1DX étant "un arrêt meilleur" pour le bruit en basse lumière . (Imaginez si le bruit des capteurs n'était pas une simple fonction de l'ISO pour tous les capteurs!)

Gardez également à l'esprit qu'un capteur surpassant un autre n'est pas nécessairement utile . Les performances ISO (SNR 18%) d'un D3300 et d'un 1DX sont essentiellement hors de propos lors de la prise de vue JPEG d'une scène lumineuse et lumineuse. Plus utiles seront des choses comme la plage dynamique (pour les détails des ombres / hautes lumières avec des ombres dures). Et même dans ce cas, en tirant sur JPEG, vous n'obtiendrez pas beaucoup plus d'une plus grande plage dynamique (il y a un peu de compression de tonalité pour former le JPEG, mais les deux sont toujours capables de bien dépasser la plage dynamique de 8 bits d'un JPEG). Pour répéter l'analogie avec la voiture, c'est comme comparer la vitesse et l'accélération maximales entre les voitures pour les déplacements en ville. Vous n'atteindrez jamais les limites d'une voiture "rapide", donc son genre de non pertinent pour cette application. Vous avez vraiment besoin d'avoir une bonne idée de l'application spécifique si vous voulez comparer deux capteurs de manière significative, et c'est là que vous voulez savoir:

1. Les mesures réelles, pour comparaison (pas seulement les scores globaux)
2. Quelles mesures sont utiles pour l'application
3. Quelle est la limite de l'utilité pour une mesure particulière de la performance

Sommaire

Le score global est assez inutile, sauf en tant que guide vraiment général de la pondération des cas d'utilisation par quelqu'un (pas nécessairement le vôtre!).

Les scores de cas d'utilisation sont de bien meilleurs guides pour quelques tendances générales de performance entre différents capteurs.

Les mesures vous permettent de faire vos propres comparaisons, si vous savez quoi comparer, et d'avoir une application en tête. Il est également important de savoir combien est «suffisant» ou quand vous obtenez des «rendements décroissants» pour une application donnée.

À moins que vous ne compreniez vraiment l'électronique, l'optique, la physique ... les nombres absolus sont probablement assez insignifiants.

Je fais confiance à DXoMark dans la mesure où je peux les lancer, et je ne suis pas particulièrement doué pour le lancer du poids. Ils sont une source intéressante d'informations sur les conditions de laboratoire et peuvent parfois être utiles pour comparer des caméras du même fabricant, mais il y a trop de variables dans les tests qui s'écartent des conditions réelles pour les rendre généralement utiles pour comparer des caméras, en particulier de différentes fabricants.

Comme tout autre site d'examen de caméras, les performances réelles sont toujours plus importantes que les conditions de laboratoire. Si vous savez lire les informations et comprendre ce qui est et n'est pas pertinent pour le monde réel, vous pouvez faire des données significatives à partir de DxOMark, mais d'après mon expérience, il est préférable de les prendre avec un gros grain de sel.