Comment fonctionne la super résolution?


10

En choisissant cette question, j'ai lu l'article de Wikipédia, mais je ne comprends pas pourquoi empiler des copies de la même image les unes sur les autres devrait améliorer la résolution de l'image?

Réponses:


13

Le processus est compliqué, mais cela devrait donner une idée de ce qui se passe. Imaginez que vous avez un appareil photo ordinaire, mais avec des moteurs pour déplacer le capteur d'un demi-pixel dans n'importe quelle direction.

Au lieu de prendre une image, cet appareil photo en prend quatre: une centrée, une décalée d'un demi-pixel vers la droite, une décalée d'un demi-pixel vers le bas, et une décalée d'un demi-pixel vers la droite et d'un demi-pixel vers le bas.

On peut alors prendre l'image centrée, la doubler de taille, en espaçant les pixels comme ceci:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

Ensuite, nous pouvons combler les lacunes, en utilisant les autres images décalées, 1, 2 et 3:

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

Nous laissant avec une image de deux fois la résolution. Chose intéressante, il existe des caméras qui utilisent cette technique - comme le Hasselblad H4D-200MS (désolé si vous devez demander combien vous ne pouvez pas vous le permettre).

La superrésolution avec un appareil photo standard est un peu plus complexe car lorsque vous avez un appareil photo non contrôlé ou un mouvement de sujet, vous ne vous approchez pas d'un décalage exact d'un demi-pixel, mais à moins que vous ne soyez extrêmement malchanceux, votre image décalée sera légèrement décalée par rapport à l'original. En combinant suffisamment d'images, vous obtiendrez une image échantillonnée très irrégulièrement (avec des échantillons de pixels qui ne tombent pas sur une grille) mais qui peut être interpolée (en traçant des lignes entre les échantillons pour deviner un résultat qui tombe sur une grille exacte) dans une image régulière.


1
Il est important de se rappeler que le mouvement ne doit pas se produire à l'intérieur de la caméra, il peut être fait en déplaçant la caméra elle-même. C'est pourquoi la super résolution fonctionne très bien avec la vidéo, car la caméra aura presque toujours de petits mouvements entre les images.
Håkon K. Olafsen

Cette bruine ou tramage est largement utilisée avec l'astrophotographie numérique. De nombreuses images individuelles sont empilées pour aider à réduire le bruit inhérent à l'image tout en ayant la possibilité de récupérer des détails et une résolution importants.
smigol

et comment empiler plusieurs copies d'une même photo peut y parvenir? Je suis confus car après l'empilement, vous devrez vous aligner, ce qui annulera le décalage entre les pixels, ce qui ressemble à l'idée de base de la super résolution
K ''

1
@AkramMellice - l'empilement du même ne fait pas cela. Un logiciel peut être utilisé pour examiner et potentiellement "compléter" les informations sur la base d'autres informations dans l'image, mais ce serait moins que parfait ... En tout cas, ce serait incroyablement génial si Pentax ajoutait cette fonctionnalité, quelque chose de tout à fait possible étant donné que leur anti-tremblement est sur le capteur et c'est une variation sur la façon dont ils font l'astrotrace avec l'unité GPS.
John Cavan

3

Considérez que le capteur n'est pas un appareil de capture parfait. Chaque pixel sera enregistré avec une certaine quantité d'erreur. Par exemple, si la valeur la plus précise d'un pixel est N, le capteur enregistrera une valeur qui se situe dans une plage N-E to N+Epour une donnée E. Pour qu'un bon capteur Esoit petit, un mauvais capteur aura un plus gros E.

Notez également qu'à chaque exposition, un pixel donné aura une erreur différente, les cellules du capteur n'ont pas de mémoire, donc un pixel qui est sorti bas une fois peut sortir haut dans la suivante.

Lorsque vous prenez plusieurs expositions du même sujet et que vous les faites la moyenne ensemble, vous réduisez efficacement E. Pour notre exemple de pixel ci-dessus, vous allez faire la moyenne d'un tas de valeurs différentes qui sont tout autour d'une inconnue N, donc la moyenne vous rapprochera de cet idéal N.


3
Il ne s'agit pas seulement de réduire les erreurs - en fait, dans ce cas, il ne s'agit PAS PRINCIPALEMENT de réduire les erreurs - il obtient PLUS d'informations en capturant les mêmes données à plusieurs reprises et en recherchant des informations supplémentaires qui sont présentes avec une résolution plus fine que la hauteur du capteur. L'ajout d'un tramage mécanique au capteur entre les prises de vue, puis leur réalisation pourrait aider à cela. // Le reflex numérique A77 Sony et certains autres Sony ont un mode d'agrégation à faible bruit à plusieurs coups qui n'est PAS seulement un programme de moyenne. Vous pouvez déplacer considérablement l'appareil photo car il prend 6 images et obtenir toujours une image améliorée.
Russell McMahon

1
Cela explique le fonctionnement de l'empilement d'images pour la réduction du bruit. Alors qu'un bruit excessif peut vous empêcher de résoudre les détails, la superrésolution est différente car elle nécessite au moins quelques mouvements de caméra pour augmenter la résolution.
Matt Grum

Comme cela a déjà été souligné, ce que vous décrivez n'est pas la super résolution, mais l'empilement d'images. Cela n'augmente pas la résolution, mais réduit le bruit.
Håkon K. Olafsen

Alors que le titre de la question mentionne la super-résolution, la question dans le corps demande «d'empiler des copies de la même image». Ce que j'ai expliqué est, en fait, l'une des nombreuses façons d'augmenter la résolution de vos photos, et cela peut être fait avec n'importe quel appareil photo.
Miguel

1

Voici ce que je comprends des choses. Les gens devraient se sentir libres de signaler toutes les idées fausses afin que nous soyons tous édifiés, mais nous espérons en fait signaler tout ce qu'ils repèrent et pas seulement marmonner dans leur bière. (ou barbes ou ...).

En termes simples et simplistes, les différentes photos contiennent des informations légèrement différentes et diverses méthodes sont utilisées pour détecter et extraire ces informations supplémentaires et les combiner de manière additive cohérente.

Il convient de noter que le système n'est pas garanti de fonctionner dans tous les cas.
La [page Wikipédia sur la super-résolution] note:

  • Dans les algorithmes SR les plus courants, les informations obtenues dans l'image SR étaient intégrées dans les images LR sous forme d'alias.

    Cela nécessite que le capteur de capture dans le système soit suffisamment faible pour que l'aliasing se produise réellement. Un système limité par diffraction ne contient aucun alias, pas plus qu'un système où la fonction de transfert de modulation du système total filtre le contenu haute fréquence.

Le repliement est la capacité du système à présenter correctement les données des fréquences concernées. Voir "explication" en fin.

Si je les comprends correctement (et je peux ou non), leur phrase "est suffisamment faible" signifie qu'il s'agit d'informations supplémentaires que le capteur ne peut pas résoudre lui-même, ce qui est généralement considéré comme mauvais, il est donc normalement supprimé dans la mesure du possible VBUT que ce "repliement" des informations supplémentaires sont nécessaires au système SR. Le Nikon D800r n'a pas de filtre optique antialasmasing sur le capteur alors que le D800 std et presque tous les autres reflex numériques ont un tel filtre.

Le MTF est effectivement la capacité de l'objectif à produire un contraste OU à produire une "netteté" (les deux étant étroitement liés. Le MTF est généralement meilleur près du milieu de l'objectif et, avec une image rectangulaire, tombe vers les bords et généralement plus dans les coins de l'image Ils disent que la capacité du système à produire une image de super résolution dépend de sa capacité à rendre le contraste et la netteté - c'est-à-dire de sa qualité. C'est-à-dire que l'objectif doit être au moins à peu près aussi bon que l'objectif qui produirait le super rsolutionj iomage directement si les capacités du capteur et du processus ont été améliorées.


Le repliement est ce qui se produit lorsqu'un flux d'informations est échantillonné si lentement que certaines des informations à haute fréquence changent plus rapidement; y que la fréquence d'échantillonnage et "s'enroule" et apparaît comme s'il s'agissait vraiment d'une composante de fréquence inférieure. Dans un système limitant, le taux d'échantillonnage doit être au moins le double du taux d'information le plus élevé présent, mais en pratique, des taux un peu plus élevés que cela sont nécessaires.

Exemple simple:

  • Considérez la séquence 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

    Il y a clairement un schéma qui se répète toutes les 12 unités.
    C'est un triangle ave qui augmente pendant 6 cycles et diminue pendant 6 autres cycles, puis se répète, avec période = 12 unités.

    Échantillonnez maintenant la séquence toutes les 11 fois seulement. Nous obtenons
    0 1 2 3 4 5 6 5 4 3 2 1
    C'est exactement le même schéma MAIS il change 11 fois plus lentement - une onde triangulaire avec une période de 11 x 12 = 132 unités.

    Échantillonnez la même séquence toutes les 8 fois et vous obtenez 0 4 4 0 4 4 0 4 4
    c'est-à-dire que cela ressemble à une onde carrée 1: 2 avec période = 24 unités.

    Toute période d'échantillonnage supérieure à 6 unités de temps = un demi-cycle entraînera de telles erreurs de repliement.

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.