Pourquoi les capteurs d'appareils photo numériques ne peuvent-ils pas exposer chaque photosite individuellement?

Pourquoi les capteurs de caméra ne peuvent-ils pas fonctionner de la même manière que l'œil humain? Ce que je veux dire, c'est pourquoi une certaine partie de l'image doit être sur / sous-exposée si nous compensons les zones sombres et claires respectivement lorsque nous prenons une photo et décidons des paramètres d'ouverture et de vitesse d'obturation.

Je comprends que la lumière entrant dépend de l'ouverture et de la vitesse d'obturation, mais comme les reflex numériques sont numériques, il ne peut pas y avoir de technologie qui permettrait à chaque cellule de capteur d'utiliser son propre compteur et, par conséquent, ils ne seraient pas tous soumis à la même quantité de lumière mais en fonction de la mesure, un CPU de la caméra éteindrait certaines cellules pour ne pas les surexposer.

J'espère que je ne dis pas de bêtises. Cela me semble être une idée plausible.

Qui décide quels pixels obtiennent le gain? Une grande partie de ce qui se passe dans le système visuel humain se produit dans le cortex, pas dans l'œil, et dépend de ce que nous pensons qu'il est important de voir basé sur une combinaison de la décision intellectuelle et de la pulsion instinctive (quelque peu dérogeable) pour l'auto-préservation . S'il est vrai dans un sens que nous voyons ce qui est là, il est également vrai dans un autre sens que nous voyons ce que nous voulons (ou devons) voir.

Ce serait presquetrivial pour créer un capteur de densité de pixels relativement faible avec de grands photosites qui permettent une énorme plage dynamique et (en supposant une technologie de type CCD, puisque la technologie actuelle du capteur CMOS ne peut pas fonctionner de cette façon) un obturateur électronique par pixel en plus de l'obturateur mécanique. Alors qu'est-ce que cela vous apporterait? Une image plate avec beaucoup de profondeur de bits et un contraste local très faible (si la profondeur de bits entière est convertie telle quelle pour l'affichage ou l'impression) avec un certain nombre de pixels qui sont presque, mais pas tout à fait, écrêtés par la saturation du capteur ( bien qu'ils soient, en fait, écrêtés par l'action limitante de l'obturateur électronique juste avant le point de saturation). Supposons cependant, à des fins d'argument, que ce capteur et son ordinateur associé pourraient enregistrer les données d'écrêtage (la raison pour laquelle il a cessé d'enregistrer à ce sensel, ce qui pourrait être aussi simple que d'enregistrer la durée d'exposition réelle sur ce site). Cela permettrait à l'électronique de la caméra de reconstruire ce que les chiffres auraient été si le photosite avait pu rester dans le jeu jusqu'au coup de sifflet final. Nous avons donc maintenant une image encore plus plate avec une plus grande profondeur de bits. Et où tracez-vous la ligne? 32 bits? 64?

Maintenant vient la partie difficile - transformer ces données d'image à plage dynamique élevée en une photographie convaincante. L'approche la plus simple consiste à prendre les huit bits (ou quelle que soit la profondeur de bits de sortie) qui représentent l'image mesurée principale et à jeter le reste. Il ne serait probablement pas beaucoup plus difficile d'adapter les données à une courbe en S, en compressant les ombres et / ou les reflets extrêmes - ce qui est plus ou moins ce que font déjà les paramètres de plage dynamique étendue sur les nouveaux appareils photo. Mais il n'y a que peu de bits de sortie disponibles par pixel, et la plupart des valeurs de surbrillance étendues vont arrondir au blanc (ou au moins un mélange de 254 et 255). Vous avez donc très peu gagné en compliquant considérablement le système.

Mais il reste une option ouverte - la cartographie sélective des zones. Pourquoi ne pas mettre le ciel, disons, ou simplement les nuages ​​dans ce ciel, en valeur afin qu'il puisse conserver les détails, tout en préservant le contraste souhaité au premier plan? C'est là que réside le problème difficile. Qu'est-ce qui est important? La caméra doit-elle décider pour vous? Si la caméra décide, alors nous avons une grande avancée en vision industrielle et en intelligence artificielle pour nous déplacer en premier. Sinon, voulez-vous vraiment prendre ce niveau de décision post-capture pour chaque photo que vous prenez? Oui, je sais qu'il y aura des photo-techno-weinies qui veulent vraiment être aussi actifs, mais pouvons-nous accepter qu'il s'agit d'une condition pathologique, et que les professionnels intéressés par le délai de traitement et la grande majorité des consommateurs ne sont pas pas comme ça?

Vous avez donc besoin d'un nouveau capteur, d'une électronique beaucoup plus compliquée autour du capteur, d'un énorme fichier image pour les données brutes projetées (ce qui nécessite des cartes plus grandes et des temps d'écriture plus longs / des fréquences d'images plus lentes), le tout pour collecter les données qui vont être le plus jetées du temps afin que vous puissiez parfois prendre des images HDR à un coup qui nécessitent beaucoup d'intervention humaine en post (ou un énorme bond en MV / AI). Vous pourriez probablement en vendre quelques-uns, mais je m'attendrais à ce que le marché ressemble beaucoup plus au marché de format moyen qu'au marché 35 mm / APS-C existant. Autrement dit, vous vendriez à un groupe sélectionné de photographes bien nantis qui ont réellement besoin des capacités pour des raisons professionnelles ou pour réaliser leur vision des beaux-arts, et quelques-uns qui obtiennent juste un coup de pied assez gros du post-traitement pour payer la taxe sur la technologie.

Il y a une chose que seules quelques personnes mentionnent, et c'est qu'une scène ne serait pas la même si différentes zones étaient exposées différemment à d'autres zones. Une scène ressemble à ça parce qu'il y a des variations. Oui, cela pourrait être un moyen d'enregistrer les hautes lumières et d'augmenter les ombres, mais au final, ce que vous voulez vraiment, c'est une plus grande plage dynamique qui puisse capturer la plage dynamique de la scène en utilisant un paramètre d'exposition.

Nos yeux sont excellents pour nous fournir une plage dynamique beaucoup plus grande que la technologie actuelle des caméras grand public. Je peux regarder rapidement autour de moi et percevoir en même temps des détails précis dans les zones ombragées et les zones ensoleillées.

L'un des moyens utilisés par les fabricants d'appareils photo pour contourner ce problème consiste à utiliser à la fois des pixels de sensibilité élevée et faible dans le même capteur, puis à combiner le résultat par pixel. Les nouveaux appareils photo numériques de cinéma RED ont une matrice de pixels de capteur de sensibilité normale et faible appelée HDRx. Les petits pixels du capteur à faible sensibilité sont combinés dans les hautes lumières des pixels lumineux pour augmenter la plage dynamique.

Tout d'abord, la plage dynamique de l'œil humain n'est pas si grande. Il semble que ce soit mieux que nos caméras haut de gamme actuelles, car notre cerveau fusionne constamment des "instantanés" pris en utilisant différents paramètres d'exposition. Nos yeux ne peuvent pas enregistrer simultanément des objets extrêmement brillants et extrêmement sombres (même si le cerveau le peut). Véritable merveille du traitement d'image, mais seulement un dispositif optique / d'imagerie médiocre.

Il existe plusieurs propositions / prototypes montrant comment la plage dynamique des capteurs d'image pourrait être considérablement améliorée:

• Caméra Modulo par MIT

  chaque photodiode réinitialise son état lorsqu'elle atteint la charge maximale et se souvient du nombre de fois où cela s'est produit

• Capteur d'image Quanta par Eric Fossum

  utilise des pixels de comptage de photons beaucoup plus petits et plus rapides au lieu de conteneurs de charge "analogiques" + convertisseurs A / N

Il vous manque un peu de physique de base ici. Le problème principal est que les scènes réelles ont des rapports de contraste importants. Nos yeux ont évolué pour faire face à cela en percevant les niveaux de lumière de manière logarithmique plutôt que linéaire. Malheureusement, la technologie actuelle des capteurs mesure intrinsèquement la lumière de façon linéaire. Ou, plus précisément, le bruit est fixé sur une échelle de lumière linéaire.

Avec la technologie actuelle, la limite de contraste maximale est essentiellement fonction du niveau de bruit. Par souci d'argument, utilisons une échelle de lumière de 0 à 1000, ce qui signifie qu'un capteur peut vous indiquer le niveau de lumière de 0 à 1000. Quel est le rapport le plus élevé qu'il peut donc mesurer? Cela dépend du niveau de bruit. Le niveau de bruit est essentiellement ce que vous obtenez au lieu du vrai noir, qui serait 0 dans cet exemple. En gros, si le niveau de bruit est de 2, vous obtenez alors un rapport de luminosité d'environ 1000: 2 = 500: 1. Tant que la scène ne dépasse pas cela (presque tous le feraient, en réalité, 500: 1 n'est pas tant que ça), vous pouvez faire le mappage logarithmique que vous souhaitez plus tard.

Ainsi, la stratégie actuelle, étant donné que les capteurs de courant sont intrinsèquement linéaires, consiste à essayer d'augmenter le rapport signal / bruit et à fournir suffisamment de bits pour que le bruit de quantification soit inférieur au bruit aléatoire inhérent. Plus le capteur est silencieux, plus les scènes à plage dynamique étendue peuvent être capturées sans écraser les hautes lumières ni brouiller les ombres.

Il existe une technologie de capteur totalement différente qui mesure intrinsèquement le journal de la luminosité. Parfois, ils sont appelés capteurs "CMOS", car ils ressemblent beaucoup à des RAM dynamiques CMOS avec le couvercle enlevé (je simplifie trop, mais le premier test en laboratoire a été fait de cette façon). Vous obtenez une tension proportionnelle au logarithme de la lumière, mais celles-ci ont actuellement des rapports signal / bruit beaucoup plus faibles. Mitsubishi a été le premier à commercialiser ces capteurs, mais ils ne sont pas encore assez bons pour les caméras haut de gamme.

Il y aura sans aucun doute des progrès sur plusieurs fronts, et je suis sûr que nous verrons des progrès constants pour les années à venir. Cependant, il y a de bonnes raisons pour lesquelles les choses sont telles qu'elles sont aujourd'hui, pas seulement parce que personne ne peut imaginer quelque chose de mieux. Si quelqu'un avait une technologie qui pouvait mesurer avec précision une large plage dynamique et à un prix que les gens étaient prêts à payer, il s'enrichirait.

Je pense que c'est trop compliqué.

Il y aurait essentiellement deux approches possibles; Soit chaque photocapteur peut suivre l'heure et s'éteindre, soit le processeur peut suivre les données des photocapteurs et les désactiver.

Pour la première approche, cela signifierait que chaque photocapteur aurait besoin d'un signal d'horloge et d'un compteur, afin de pouvoir suivre le temps qu'il a fallu pour s'éteindre. C'est beaucoup plus de circuits pour s'adapter à la puce, et beaucoup plus d'électricité nécessaire pour le faire fonctionner, ce qui augmente le bruit du signal. Probablement tellement que l'augmentation de la plage dynamique serait inutile.

Pour la deuxième approche, le CPU devrait lire toutes les données du capteur environ une fois par 1/10000 seconde. C'est environ 1000 fois plus rapide que la technologie actuelle ne peut le faire, c'est donc des décennies dans le futur, si possible.

En outre, il existe d'autres complications avec une telle solution, comme le fait que chaque pixel aurait un temps d'exposition différent. Vous obtiendriez des objets assez étranges si vous photographiez tout ce qui bouge.

S'il est vrai que les reflex numériques sont numériques, les objectifs ne le sont pas. Tous les capteurs cellulaires seront soumis à la même ouverture, quel que soit le niveau d'intelligence du boîtier du reflex numérique, car l'ouverture est réglée sur l'objectif. Je pense donc que la variation de l'ouverture par cellule de capteur est terminée, au moins avec la technologie d'objectif actuelle.

En ce qui concerne la vitesse d'obturation, cela est contrôlé par l'appareil photo, mais si nous imaginons un appareil photo qui peut faire varier la vitesse d'obturation sur différentes parties de l'image pour contrôler la sur / sous-exposition, vous vous retrouverez avec un flou de mouvement inégal. Les parties les plus sombres de la scène devront être exposées plus longtemps et seront plus floues que les parties plus lumineuses. Je pense qu'une solution qui change la vitesse d'obturation ne fonctionnera pas pour cette raison.

Donc, la seule chose qui reste est ISO. Faire varier l'ISO signifierait différents niveaux de bruit dans différentes parties de l'image. Cela ne sonne pas trop mal, étant donné que vous obtiendrez une plage dynamique beaucoup plus élevée en retour. Je ne sais pas grand-chose sur le fonctionnement des capteurs, mais j'imagine que le réglage ISO est implémenté dans les capteurs comme une sorte de "réglage" vers un sous-ensemble spécifique de l'échelle de luminosité. Il me semble qu'il serait extrêmement coûteux d'avoir une mesure indépendante et un contrôle ISO dans chaque cellule de capteur, mais peut-être que l'image peut être divisée en zones et chaque zone mesurée séparément. Ensuite, l'appareil photo devra avoir une sorte d'algorithme pour mélanger les zones exposées différemment, sorte de ce que "enblend" fait quand il assemble un panorama où chaque image a une exposition différente. Cela me semble faisable.

Une autre option serait d'avoir une caméra avec plusieurs capteurs, chacun configuré pour une ISO différente. Dans la technologie vidéo, il y a 3 caméras CCD, où chaque CCD enregistre l'une des rouges, vertes et bleues. Je ne vois pas pourquoi il ne pourrait pas y avoir un concept similaire pour les reflex numériques, où plusieurs capteurs prennent la photo à différents niveaux ISO, produisant une image HDR.

Je ne trouve pas les informations pour le moment, mais je me souviens avoir lu la description d'une technologie similaire. L'idée était à peu près la suivante: la seule chose à prendre en compte est les reflets exagérés. Si vous pouvez les éviter, vous pouvez prendre soin des zones sombres en augmentant l'exposition à l'ensemble de l'image. Ainsi, afin d'éviter les reflets exagérés, chaque capteur gardera une trace de sa lumière accumulée, et si cela se rapproche du maximum, le capteur s'éteindra. Cela en soi n'améliorerait rien, cela aggraverait en fait les choses, au lieu d'avoir peu de reflets blancs vifs exagérés, on se retrouverait avec des reflets encore plus sombres. Ainsi, au lieu de simplement fermer, la cellule fermerait également les cellules dans certains quartiers, ce qui préserverait certains détails dans les zones lumineuses.

Comme je l'ai écrit, je ne trouve pas le texte maintenant, mais il est en quelque sorte dans mon esprit associé aux appareils photo numériques HP.

Cela peut être fait mathématiquement (théoriquement): http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.64.9692&rep=rep1&type=pdf