Pourquoi un filtre anti-crénelage physique est-il toujours nécessaire sur les reflex numériques modernes?


13

Je comprends que le but du filtre anti-aliasing (AA) est d'empêcher le moiré. Lorsque les appareils photo numériques sont apparus pour la première fois, un filtre AA était nécessaire pour créer suffisamment de flou pour éviter les motifs moirés. À cette époque, la puissance des processeurs à huis clos était très limitée. Mais pourquoi est-il encore nécessaire de placer un filtre AA sur le capteur dans les appareils photo reflex numériques modernes? Cela ne pourrait-il pas être accompli tout aussi facilement par les algorithmes appliqués lorsque la sortie du capteur est dématriçée?Il semblerait que la puissance de traitement actuelle disponible à huis clos permettrait cela beaucoup plus qu'il y a quelques années encore. Le processeur Digic 5+ actuel de Canon a plus de 100 fois la puissance de traitement du processeur Digic III, qui éclipse la puissance des premiers appareils photo numériques. Surtout lors de la prise de vue de fichiers RAW, le flou AA ne pouvait-il pas être effectué au stade du post-traitement? Est-ce la prémisse de base du Nikon D800E, même s'il utilise un deuxième filtre pour contrer le premier?


Ce n'est pas. Il existe déjà des reflex numériques sans filtre anti-alias, y compris les Pentax K-5 II, Nikon D800E, ainsi que des modèles sans miroir comme l'Olympus PEN E-PM2 et tous les Fujis (X-E1, X-Pro1). De plus, ils ont même annoncé des caméras à objectif fixe sans filtre AA (X20 et X100S).
Itai

1
Et toutes ces caméras affichent parfois des couleurs moirées.
Kendall Helmstetter Gelner, le

3
En effet, mais d'autres caméras aussi. Je soupçonne qu'un filtre anti-alias qui évite tout moiré serait trop fort, donc les fabricants utilisent des filtres AA de moindre résistance. Par exemple, dans mes comparaisons K-5 II et K-5 II , le moiré se produit sur les deux caméras, mais beaucoup plus avec les K-5 II.
Itai

1
IIRC le nouveau Nikon D7100 n'en a pas non plus.
James Snell

1
Et maintenant, le Pentax K-3 n'a pas de filtre mais a un mode pour faire vibrer le capteur très, très légèrement pendant l'exposition pour en simuler un. Beaucoup d'innovation intéressante dans ce domaine.
Veuillez lire mon profil

Réponses:


12

Le repliement est le résultat de la répétition de motifs de la même fréquence qui interfèrent les uns avec les autres d'une manière indésirable. Dans le cas de la photographie, les fréquences plus élevées de l'image projetée par l'objectif sur le capteur créent un motif d'interférence (moiré dans ce cas) avec la grille de pixels. Cette interférence ne se produit que lorsque ces fréquences sont à peu près les mêmes, ou lorsque la fréquence d'échantillonnage du capteur correspond à la fréquence des ondelettes de l'image. C'est la limite de Nyquist. Remarque ... il s'agit d'un problème analogique ... le moiré se produit en raison d'interférences qui se produisent en temps réel dans le monde réel avant que l'image ne soit réellement exposée.

Une fois l'image exposée, ce motif d'interférence est effectivement "intégré". Vous pouvez utiliser un logiciel dans une certaine mesure pour nettoyer les motifs de moirage en place, mais il est peu efficace par rapport à un filtre passe-bas physique (AA) devant le capteur. La perte de détail due au moiré peut également être supérieure à celle perdue pour un filtre AA, car le moiré est en fait un non-sens, où des détails légèrement flous pourraient toujours être utiles.

Un filtre AA est juste conçu pour brouiller ces fréquences à Nyquist afin qu'elles ne créent aucun motif d'interférence. La raison pour laquelle nous avons encore besoin de filtres AA est que les capteurs d'image et les objectifs sont toujours capables de se résorber à la même fréquence. Lorsque les capteurs s'améliorent au point où la fréquence d'échantillonnage du capteur lui-même est constamment plus élevée que même les meilleurs objectifs à leur ouverture optimale, alors le besoin d'un filtre AA diminue. La lentille elle-même gérerait efficacement le flou nécessaire pour nous, et les motifs d'interférence n'apparaîtraient jamais en premier lieu.


Voici une partie d'un commentaire posté sur photo.stackexchange.com/questions/10755/… . Croyez-vous toujours que c'est exact? Si tel est le cas, comment le motif est-il intégré jusqu'à ce que les données RAW soient dématérialisées? "Ironiquement, au moins avec RAW, la limite théorique de nyquist ne semble pas toujours être une limite stricte, ce qui est probablement dû aux différentes longueurs d'onde de la lumière rouge, verte et bleue et à la distribution des pixels RVB dans un capteur. - jrista ♦ 10 avril 11 à 18:50 "
Michael C

1
Je pense que je parlais de la résolution en général là-bas, et non directement de l'aliasing dans le signal numérique enregistré. La limite de nyquist est une sorte de chose difficile à fixer dans un capteur bayer en raison de la configuration inégale des lignes RGRG et GBGB. La résolution spatiale du vert est supérieure à la résolution spatiale du rouge ou du bleu, de sorte que la limite de nyquist en lumière rouge ou bleue est à une fréquence inférieure à la limite de nyquist en lumière verte. La limite de nyquist dans une image dématriçée est un peu difficile à appeler exactement, donc elle devient un peu une bande floue, plutôt qu'une limite mathématique concrète.
jrista

1
... ce motif fait partie de l'image. Même si vous connaissiez les caractéristiques exactes des ondelettes de l'image virtuelle et que vous pouviez produire une série de Fourier à ce moment-là, vous devriez changer l'orientation de l'image par rapport au concept virtuel du capteur pour éliminer le moiré "parfaitement". C'est beaucoup de travail excessivement intense et très mathématique ... en supposant que vous connaissiez la nature EXACTE du signal d'image virtuel d'origine et sa relation avec le capteur. Une fois que l'aliasing est intégré dans un fichier RAW, il est à peu près terminé, il n'y a vraiment aucune possibilité de le défaire sans adoucir les détails.
jrista

1
Je sais tout sur la différence de fréquence entre le rouge / bleu et le vert. Comme pour tous les filtres optiques AA actuels ne filtrant qu'à Nyquist, cela dépend vraiment de la caméra. Tous les filtres AA ne sont pas conçus exactement de la même manière, et même pour la même marque, différents modèles et différentes lignes ont souvent des filtres AA qui se comportent différemment. Je sais que, historiquement, les lignes 1D et 5D ont permis à CERTAINES fréquences juste au-dessus de nyquist, mais je pense que c'est une question d'équilibrage avec la résolution de l'objectif.
jrista

1
Sur les capteurs avec des pixels plus petits, tels que le Canon 18mp APS-C, le D800, le D3200, les pixels deviennent vraiment très petits. En dehors d'un petit segment, si des objectifs vraiment nouveaux (comme la génération Mark II de la série L de Canon, puis seuls ceux sortis au cours des deux ou trois dernières années) peuvent résoudre suffisamment de détails pour dépasser considérablement le capteur et provoquer un repliement à des fréquences supérieures à nyquist. Filtrez à environ nyquist, et l'objectif lui-même floutera les détails au-delà. Je pense que cela fait partie de la raison pour laquelle la ligne 5D a eu un filtre AA trop fort ... les objectifs le résolvent plus facilement.
jrista

11

La physique ne fonctionne tout simplement pas de cette façon. Le crénelage transforme irréversiblement les fréquences au-delà de la limite de Nyquist pour apparaître comme des fréquences inférieures à la limite, bien que ces «pseudonymes» ne soient pas vraiment là. Aucune quantité de traitement d'un signal replié ne peut récupérer le signal d'origine dans le cas général. Les explications mathématiques fantaisistes sont assez longues à aborder, sauf si vous avez suivi un cours de théorie de l'échantillonnage et de traitement du signal numérique. Si vous l'aviez fait, vous ne poseriez pas la question. Malheureusement, la meilleure réponse est simplement "Ce n'est pas ainsi que fonctionne la physique. Désolé, mais vous allez devoir me faire confiance à ce sujet." .

Pour essayer de donner une impression approximative que ce qui précède pourrait être vrai, considérons le cas d'une image d'un mur de briques. Sans filtre AA, il y aura des motifs moirés (qui sont en fait les alias) donnant aux lignes de briques un aspect ondulé. Vous n'avez jamais vu le vrai bâtiment, seulement l'image avec les lignes ondulées.

Comment savez-vous que les vraies briques n'étaient pas disposées de manière ondulée? Vous supposez qu'ils ne provenaient pas de votre connaissance générale des briques et de l'expérience humaine de voir des murs de briques. Cependant, quelqu'un pourrait-il simplement faire un point délibérément pour créer un mur de briques afin qu'il ressemble dans la vraie vie (vu de vos propres yeux) à l'image? Oui, ils le pouvaient. Par conséquent, est-il possible de distinguer mathématiquement une image repliée d'un mur de briques normal et une image fidèle d'un mur de briques délibérément ondulé? Non, ça ne l'est pas. En fait, vous ne pouvez pas vraiment faire la différence non plus, sauf que votre intention sur ce que représente probablement une image peut vous donner l'impression que vous le pouvez. Encore une fois, à proprement parler, vous ne pouvez pas dire si les ondulations sont des artefacts de motif moiré ou si elles sont réelles.

Le logiciel ne peut pas supprimer comme par magie les ondulations car il ne sait pas ce qui est réel et ce qui ne l'est pas. Mathématiquement, on peut montrer qu'il ne peut pas savoir, du moins en ne regardant que l'image ondulée.

Un mur de briques peut être un cas évident où vous pouvez savoir que l'image aliasée est fausse, mais il existe de nombreux autres cas subtils où vous ne savez vraiment pas, et peut-être même pas au courant que l'aliasing est en cours.

Ajouté en réponse aux commentaires:

La différence entre le crénelage d'un signal audio et d'une image est seulement que le premier est 1D et le second 2D. La théorie et les mathématiques pour réaliser des effets sont toujours les mêmes, juste qu'elles sont appliquées en 2D lorsqu'il s'agit d'images. Si les échantillons sont sur une grille rectangulaire régulière, comme ils le sont dans un appareil photo numérique, d'autres problèmes intéressants se posent. Par exemple, la fréquence d'échantillonnage est sqrt (2) inférieure (environ 1,4 fois plus bas) le long des directions diagonales par rapport aux directions alignées sur l'axe. Cependant, la théorie d'échantillonnage, le taux de Nyquist et ce que sont réellement les alias ne sont pas différents dans un signal 2D que dans un signal 1D. La principale différence semble être que cela peut être plus difficile pour ceux qui ne sont pas habitués à penser dans l'espace des fréquences de se concentrer et de projeter ce que cela signifie en termes de ce que vous voyez dans une image.

Encore une fois, non, vous ne pouvez pas "démostrer" un signal après coup, du moins pas dans le cas général où vous ne savez pas ce que l'original est censé être. Les motifs moirés provoqués par l'échantillonnage d'une image continue sont des alias. Le même calcul s'applique à eux, tout comme à l'alias de hautes fréquences dans un flux audio et sonnant comme des sifflets d'arrière-plan. C'est la même chose, avec la même théorie pour l'expliquer, et la même solution pour y faire face.

Cette solution consiste à éliminer les fréquences supérieures à la limite de Nyquist avant l' échantillonnage. En audio, cela peut être fait avec un simple filtre passe-bas que vous pourriez éventuellement créer à partir d'une résistance et d'un condensateur. Dans l'échantillonnage d'images, vous avez toujours besoin d'un filtre passe-bas, dans ce cas, il prend une partie de la lumière qui ne toucherait qu'un seul pixel et la répartit sur les pixels voisins. Visuellement, cela ressemble à un léger flou de l'image avantil est échantillonné. Le contenu haute fréquence ressemble à des détails fins ou à des bords nets dans une image. Inversement, les arêtes vives et les détails fins contiennent des fréquences élevées. Ce sont exactement ces hautes fréquences qui sont converties en alias dans l'image échantillonnée. Certains alias sont ce que nous appelons des motifs moirés lorsque l'original avait un contenu régulier. Certains alias donnent l'effet "marche d'escalier" aux lignes ou aux bords, surtout lorsqu'ils sont presque verticaux ou horizontaux. Il existe d'autres effets visuels causés par les alias.

Le fait que l'axe indépendant des signaux audio soit le temps et que les axes indépendants (deux d'entre eux étant donné que le signal est 2D) d'une image sont la distance n'invalide pas les mathématiques ou ne le rend pas différent entre les signaux audio et les images. Probablement parce que la théorie et les applications de crénelage et d'anticrénelage ont été développées sur des signaux 1D qui étaient des tensions basées sur le temps, le terme "domaine temporel" est utilisé pour contraster avec "domaine fréquentiel". Dans une image, la représentation spatiale non fréquentielle est techniquement le "domaine de distance", mais pour des raisons de simplicité dans le traitement du signal, elle est souvent appelée néanmoins "domaine temporel". Ne laissez pas cela vous distraire de ce qu'est vraiment l'alias. Et non, ce n'est pas du tout une preuve que la théorie ne s'applique pas aux images, seulement qu'un choix trompeur de mots est parfois utilisé pour décrire des choses pour des raisons historiques. En fait, le raccourci "domaine temporel" appliqué au domaine non fréquentiel des images est en faitcar la théorie est la même entre les images et les vrais signaux temporels. Le crénelage est le crénelage quel que soit le ou les axes indépendants.

À moins que vous ne souhaitiez approfondir cela au niveau de quelques cours collégiaux sur la théorie de l'échantillonnage et le traitement du signal, vous devrez finalement faire confiance à ceux qui l'ont. Certaines de ces choses ne sont pas intuitives sans un fond théorique significatif.


Toute mon expérience dans l'échantillonnage et le traitement du signal numérique a été en ce qui concerne l'audio numérique. Je comprends comment un filtre passe-bas agit pour empêcher les sons au-dessus d'une certaine fréquence d'entrer dans la conversion AD. Si vous échantillonnez à 44 100 Hz, vous appliquez un filtre qui commence à rouler à environ 20 kHz et toute réponse de 22 kHz est à peu près disparue. Mais avec l'imagerie numérique, ce n'est pas si simple, car même avec les filtres AA, un certain aliasing passe. J'ai lu ailleurs que les filtres n'essaient pas de tout bloquer au-dessus du Nyquist car cela réduirait trop la résolution.
Michael C

1
Je dois convenir que le problème avec lequel un filtre passe-bas dans un appareil photo traite n'est pas le même que le problème avec un filtre passe-bas dans le traitement audio. Je suppose que la meilleure façon de le dire est qu'un filtre passe-bas audio fonctionne directement avec un signal électronique, alors qu'un filtre passe-bas optique fonctionne sur les fréquences spatiales d'un signal d'image produit par un objectif. Le signal électronique avec lequel vous avez l'habitude de travailler est d'une nature différente d'un signal d'image.
jrista

1
@Michael: Voir l'addition à ma réponse.
Olin Lathrop

1
"Les motifs moirés causés par l'échantillonnage d'une image continue sont des alias." - Olin. Je pense que c'est le point clé ici! Lorsque vous prenez réellement l'exposition, vous n'enregistrez pas une version pure de l'image virtuelle d'origine ... vous enregistrez des alias de points de données dans cette image virtuelle d'origine. Ces données sur votre ordinateur contiennent des alias. Très agréable, concis et clair pour le dire. :)
jrista

1
@Michael: Ce que vous dites sur la façon dont les pixels en couleur sont interpolés à partir des valeurs brutes du capteur est correct, mais n'a aucune incidence sur la discussion sur l'aliasing. En fin de compte, l'image réelle continue est toujours échantillonnée à des points discrets, donc un filtre anti-alising avant l'échantillonnage est nécessaire pour éviter les alias. Quant à votre commentaire sur l'algèbre, cela n'a absolument aucun sens. Bien sûr, l'algèbre s'applique aux polynômes d'ordre supérieur et aux équations 2D, juste qu'elle devient plus complexe en raison de l'existence de variables plus indépendantes.
Olin Lathrop

6

Vous ne pouvez pas obtenir le même effet dans un logiciel. Vous pouvez aller quelque part à proximité, compte tenu de certaines hypothèses. Mais le filtre AA diffuse la lumière de sorte qu'il frappe plusieurs pixels de couleur différente, vous donnant des informations absentes du capteur de filtre sans AA.

Le Nikon D800E ne fait rien du tout pour essayer de reproduire le filtre AA. S'il y a des motifs à haute fréquence dans l'image, vous obtenez du moiré et c'est votre problème - vous devez y faire face!

Le repliement est pire lorsque la fréquence des détails de l'image est très proche de la fréquence d'échantillonnage. Pour les caméras plus anciennes avec des capteurs basse résolution (et donc un échantillonnage à basse fréquence), le moiré était un problème sérieux avec beaucoup de types de détails d'image, donc les filtres AA étaient puissants (rien à voir avec une puissance de traitement limitée). Maintenant, nous avons des fréquences d'échantillonnage beaucoup plus élevées, il faut des détails d'image de fréquence beaucoup plus élevés pour que le moiré apparaisse.

Finalement, les fréquences d'échantillonnage seront si élevées que les détails d'objet haute fréquence nécessaires ne dépasseront pas les aberrations de l'objectif et les effets de diffraction, rendant le filtre AA redondant. C'est en partie la raison pour laquelle certains dos MF n'ont pas de filtre AA, de super haute résolution et de photographes de mode qui aiment prendre des photos à f / 32 avec des blocs d'alimentation géants Profoto prouvant l'éclairage.


Il me semble que l'interpolation effectuée dans le processus de dématriçage pourrait être modifiée pour accomplir exactement la même chose, car la moyenne des pixels adjacents est ce qui s'y fait. Le Nikon D800E possède deux composants de filtre AA, tout comme les autres appareils photo, mais au lieu d'une lumière polarisante horizontalement et de l'autre polarisée verticalement, la seconde est à 180 degrés du premier et prend les rayons polarisés du premier et les combine à nouveau en un seul flux. Voir photo.stackexchange.com/questions/22720/…
Michael C

2
@MichaelClark Non, vous ne pouvez pas obtenir le même effet dans le processus de dématriçage. Un seul point de lumière frappant le capteur D800E ne produira de charge que sur un seul site photo. Il n'y a aucun moyen de dire de quelle couleur était la lumière en regardant les pixels voisins, les informations ont été perdues à jamais. Le même point de lumière frappant le capteur D800 (avec filtre AA) frappera fortement un pixel et les pixels environnants dans une moindre mesure. Comme les pixels voisins ont des filtres de couleur différents en regardant leurs intensités, il est possible pour un algorithme de dématriçage d'estimer la couleur de la lumière.
Matt Grum

1
@MichaelClark La seule raison pour laquelle le D800E a cet arrangement est de simplifier le processus de fabrication, il est beaucoup plus facile de changer l'orientation d'un des filtres à l'étape d'entrée qu'il ne le serait de remplacer deux filtres par un élément en verre transparent - en fin de compte le filtre la pile doit avoir la même hauteur car elle a un effet de réfraction et les conceptions de lentilles modernes en tiennent compte. Le fait de ne pas appliquer de filtre sur le D800E introduirait une aberration subtile dans les images.
Matt Grum

Mais en même temps qu'un seul point de lumière frappe un site de capteur, des points de lumière correspondants frappent tous les sites de capteur adjacents et le filtre AA fait en sorte que tous se déversent de la lumière les uns sur les autres. La plupart des algorithmes de dématriçage n'utilisent-ils pas l'interpolation pour comparer les niveaux de luminosité non seulement des puits de pixels immédiats mais aussi d'autres puits de pixels proches avec la même sensibilité de couleur? Effectivement, le flou des pixels adjacents n'est-il pas mathématiquement ce que vous faites?
Michael C

1
@MichaelClark, l'alias n'est pas un flou. Il affecte les pixels très loin les uns des autres. Par exemple, vous obtiendrez un rythme tous les 50 pixels, un fondu entrant / sortant sur 10. Cette bande était-elle réelle ou provoquée par des bandes plus petites que les pixels? Tu ne peux pas savoir.
JDługosz

2

Ce sont toutes de bonnes réponses et de bonnes informations. J'ai une explication très simplifiée. Passons de 2D à 1D (le même concept s'applique).

Lorsqu'une fréquence atteignant votre capteur qui est supérieure à la "fréquence maximale autorisée", elle crée en fait une fréquence miroir dans le côté inférieur . Une fois que votre image a été échantillonnée, vous verrez ce signal inférieur, mais l'appareil photo ou votre ordinateur ne sait pas s'il s'agissait d'un signal inférieur réel qui était vraiment là ou s'il s'agissait d'un alias créé à partir d'un signal trop élevé. Ces informations sont perdues. C'est la raison de la "fréquence maximale autorisée" ou fréquence nyquist. Il indique que c'est la fréquence la plus élevée qui peut être échantillonnée et au-dessus, les informations seront perdues.

une analogique à l'audio: disons que votre système est configuré là où vous voulez une plage de fréquences de 0 Hz à 1000 Hz. pour laisser un peu de place supplémentaire vous échantillonnez à 3000hz ce qui rend votre niquist 1500hz. c'est là qu'intervient le filtre aa. vous ne voulez rien entrer au-dessus de 1500 Hz, en réalité votre coupure commencera juste après 1000 Hz, mais vous vous assurez qu'au moment où vous arrivez à 1500 Hz, il ne reste plus rien.

supposons que vous oubliez le filtre aa et que vous autorisez une tonalité de 2500 Hz à entrer dans votre capteur. il reflétera la fréquence d'échantillonnage (3000 Hz) afin que votre capteur capte une tonalité à 500 Hz (3000 Hz - 2500 Hz). maintenant que votre signal est échantillonné, vous ne saurez pas si le 500hz était réellement là ou si c'est un alias.

btw. les images miroir se produisent pour toutes les fréquences mais ne sont pas un problème tant que vous n'êtes pas au-dessus du nyquist car vous pouvez facilement les filtrer plus tard. la tonalité d'entrée par exemple est de 300 Hz. vous aurez des alias à (3000 - 300 = 2700hz [et pour être correct aussi 3000 + 300 = 3300hz]). cependant, puisque vous savez que vous ne considérez que jusqu'à 1000 Hz, ceux-ci seront facilement supprimés. là encore, le problème se pose lorsque les images miroir entrent dans le spectre que vous voulez réellement, car vous ne pourrez pas faire la différence et c'est ce qu'elles veulent dire par "cuit dans".

J'espère que cela t'aides


1
Sauf que le «repliement» dans le contexte de la photographie est «spatial» basé sur des motifs répétitifs dans l'image projetée sur le capteur, et non sur des fréquences particulières de lumière frappant un seul pixel. Les filtres passe-bas optiques de la plupart des capteurs de caméra ne filtrent pas «toutes» les fréquences au-dessus de la limite de Nyquist, ils filtrent uniquement «la plupart» des motifs répétés à la limite de Nyquist et les multiples associés.
Michael C

J'apprécie votre commentaire. Je ne parlais pas non plus des fréquences de la lumière mais du taux de variation d'intensité d'un pixel au suivant. J'ignorais les couleurs. Je suppose que je le regardais comme 3 images individuelles en noir et blanc. Plus tard, chacun obtient une couleur et superposés ensemble, ils composent toutes les couleurs. Il est encore difficile pour moi d'enrouler ma tête autour des fréquences dans les images. Je suppose que lorsque vous avez un pixel blanc juste à côté d'un pixel noir, il représente des fréquences élevées en raison du taux de changement rapide et un pixel gris clair à côté d'un pixel gris foncé est une fréquence inférieure.
pgibbons

Ce n'est pas exactement comment fonctionne le dématriçage d'un capteur masqué Bayer, et c'est l'une des raisons pour lesquelles j'ai initialement posé la question.
Michael C

Des fréquences plus élevées dans ce contexte sont des motifs répétitifs avec moins de distance sur le capteur entre chaque répétition. Les basses fréquences sont des motifs répétitifs avec plus de distance entre chaque répétition. Si le pas de pixel d'un capteur est de 6 µm, les motifs qui se répètent tous les 3 µm seraient à la fréquence de Nyquist. Les motifs qui se répètent tous les 4 µm seraient en dessous de la NF, et les motifs se répétant tous les 2 µm seraient au-dessus.
Michael C
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.