Rendu réaliste: quels processus de l'œil et du cerveau humain dois-je considérer?


12

Le rendu photoréaliste a pour objectif de rendre une image comme un véritable appareil photo la capturerait. Bien que ce soit déjà un objectif ambitieux, pour certains scénarios, vous voudrez peut-être aller plus loin: rendre une image telle que l' œil humain la capturerait ou même telle que l' être humain la percevrait. On pourrait appeler cela un rendu visioréaliste ou perceptioréaliste , mais si quelqu'un pouvait trouver un terme plus accrocheur (ou me dire qu'il y en a déjà un), je l'apprécierais.

Voici quelques exemples pour clarifier mon propos. Lorsque vous prenez une photo avec un appareil photo à un faible niveau d'éclairage, vous avez soit un bon objectif, soit une image bruyante. Pour un observateur humain, la vision scotopique entre en jeu et donne lieu à l' effet Purkinje (les couleurs sont déplacées vers le bleu). Cet effet dépend des informations de luminance HDR, qui sont perdues lorsque j'affiche l'image sur un écran LDR. De plus, le cerveau humain peut utiliser des informations de profondeur pour «filtrer» l'image perçue - informations qui sont perdues dans un rendu final (non stéréo).

L'élaboration d'une liste exhaustive est probablement un objectif difficile à atteindre. Pourriez-vous suggérer certains des effets de l'œil et du cerveau dont je devrais tenir compte?


J'ai entendu une fois que nous obtenons le même bruit que les caméras, car le bruit est en fait physique et pas seulement électrique. (c'est-à-dire qu'il n'y a pas tellement de photons après tout). Mais le cerveau l'efface, en utilisant l'antialiasing temporel, je pense. (c'est-à-dire que nous voyons avec beaucoup de flou de mouvement la nuit).
v.oddou

Je ne comprends pas très bien l'idée. Si vous restituez une image en basse lumière et simulez un effet Purkinje, cela ne sera pas réaliste car l'œil humain ajoutera son propre effet, n'est-ce pas?
Yves Daoust

1
@YvesDaoust Étant donné que l'image est affichée sur un moniteur LDR dans des conditions d'éclairage inconnues, probablement pas. Autrement dit, l'image que vous voyez à l'écran sera plus lumineuse, donc plus facile à percevoir. Si nous utilisions un moniteur HDR et pouvions reproduire exactement les valeurs de luminance d'une scène nocturne (et avoir une pièce autrement sombre), vous avez raison.
David Kuri

1
Il n'y a rien de mal à ce que vous cherchez, mais j'ai peur que cela me semble un peu trop large car il y a tellement d'effets que nous devons considérer. Je n'ai pas pu écrire ceci au format SE, car ce serait en effet faux. Cependant, si vous ajustez votre portée un peu comme "Pouvez-vous suggérer certains des effets que je devrais considérer", il serait plus facile de commencer.
joojaa

@joojaa J'ai changé les questions comme vous l'avez suggéré, merci.
David Kuri

Réponses:


5

vous voudrez peut-être aller plus loin: rendre une image telle que l'œil humain la capturerait ou même telle que l'être humain la percevrait.

Il y a deux façons d'interpréter cela. Je ferai les deux.


Interprétation 1: restituez une image qui semble perceptuellement réaliste.

À la fin de la journée, votre image doit encore être affichée quelque part. Voici la clé: vous voulez rendre votre image de telle manière que lorsque vous * affichez * cette image sur un dispositif d'affichage particulier, elle produira la même sensation que l'image radiométrique d'origine aurait produite.

Voici comment décompresser cette idée.

Dans le monde réel, les spectres radiométriques (c'est-à-dire les distributions réelles de lumière) pénètrent dans votre œil et stimulent environ 1 quatre récepteurs de lumière. Les stimulations des récepteurs produisent les sensations de couleur que nous associons aux images.

Dans le rendu, nous n'avons pas de contrôle arbitraire sur les spectres que nous produisons. Heureusement, comme nous n'avons (généralement) que trois cônes, chacun ne produisant qu'une valeur scalaire, la vision des couleurs peut être reproduite en utilisant exactement trois primaires. L'essentiel, c'est que vous pouvez produire n'importe quelle sensation de couleur en utilisant une combinaison linéaire de trois longueurs d'onde uniquement (jusqu'à quelques couleurs qui peuvent être négatives, auquel cas, vous utilisez simplement différentes couleurs primaires).

Vous n'avez pas le choix de primaires. Presque tous les périphériques d'affichage couleur utilisent la norme sRGB, qui fournit trois primaires (qui n'ont généralement pas une seule longueur d'onde). C'est bien parce qu'il s'avère que tout est abstrait et que vous n'avez pas à vous en soucier.

Pour clarifier le désordre qui est un rendu perceptuellement précis, voici l'algorithme:

  1. Rendez votre image en utilisant des calculs radiométriques corrects. Vous tracez des longueurs d'onde individuelles de lumière ou des seaux de longueurs d'onde. Peu importe. En fin de compte, vous avez une image qui a une représentation du spectre reçu en chaque point.
  2. À chaque pixel, vous prenez le spectre que vous avez rendu et le convertissez en espace colorimétrique CIE XYZ . Cela revient à intégrer le produit du spectre avec les fonctions d'observation standard (voir définition CIE XYZ) .
  3. Cela produit trois valeurs scalaires, qui sont les couleurs CIE XYZ.
  4. Utilisez une transformation matricielle pour convertir cela en RVB linéaire, puis utilisez une transformation linéaire / puissance pour convertir RVB linéaire en sRGB .
  5. Convertissez de virgule flottante en uint8 et enregistrez les valeurs de serrage hors de portée (votre moniteur ne peut pas les représenter).
  6. Envoyez les uint8 pixels au framebuffer.
  7. L'écran prend les couleurs sRGB, fait la transformation inverse pour produire trois primaires d'intensités particulières. Chacun met à l'échelle la sortie de tout élément d'image dont il est responsable. Les éléments d'image s'allument, produisant un spectre. Ce spectre sera (espérons-le) un métamère pour le spectre d'origine que vous avez rendu.
  8. Vous percevez le spectre comme vous auriez perçu le spectre rendu.

Interprétation 2: Essayez de simuler les données finales que l'œil humain pourrait recevoir à des fins de visualisation ou de compensation pour les écrans LDR.

Celui-ci a un sens moins utile, je pense. Essentiellement, vous essayez de produire une image qui modifie la façon dont le cerveau la perçoit pour le plaisir / le profit.

Par exemple, il y avait un article au SIGGRAPH cette année où ils simulaient des images rémanentes et une réduction des couleurs pour donner aux images une apparence perceptuellement différente. Bien sûr, la seule raison pour laquelle ils le font est que les écrans avec lesquels nous travaillons sont tous à faible plage dynamique (LDR). Le but est de simuler les effets que quelqu'un pourrait voir s'il était exposé à un affichage à haute dynamique réelle (HDR) en tant que données d'image réelles.

En pratique, cela ne fonctionne pas très bien. Pour les images rémanentes, par exemple, nous voyons des images rémanentes en raison d'un stimulus très lumineux qui épuise les cellules colorées. Si vous essayez plutôt de stimuler l'effet avec une fausse image rémanente, cela pourrait sembler un peu similaire - mais comme c'est un mécanisme complètement différent, ce n'est pas très convaincant.

Ce genre de graphiques est en fait sous-exploré dans la littérature si vous voulez vous y lancer. Le document mentionné est un exemple des approches plus ou moins les plus avancées que nous avons. Je pense que le consensus actuel, cependant, est que cela ne vaut pas vraiment la peine d'essayer de simuler (au moins pour le moment), car au mieux, vous ne feriez qu'approximer les effets réels de la vision en substituant différents effets, et que cela ne fonctionne pas vraiment travail.


1 canne + 3 * cônes, le cas habituel. Approximative parce que les humains peuvent avoir aussi peu que zéro récepteurs de lumière fonctionnels jusqu'à un maximum conjecturé de sept (le plus élevé jamais observé étant cinq).


Merci pour votre réponse. Je le considère cependant comme incomplet. Votre déclaration de l'interprétation 1 "Vous percevez le spectre comme vous auriez perçu le spectre rendu" est sans doute fausse. Lors de la perception du spectre réel, les effets se déclenchent lorsque vous n'utilisez pas la conversion que vous avez décrite (par exemple, vous devez utiliser un observateur standard scotopique dans des conditions de faible éclairage, comme mentionné dans Jameson, Hurvich: Psychophysique visuelle). Ce que vous avez décrit, c'est l'idée du rendu spectral. L'interprétation 2 est ce que je veux en savoir plus. Le papier sera un bon début, merci pour cela.
David Kuri du

4

En ce qui concerne la perception, il y a aussi la question de ce à quoi nous sommes presque aveugles (en termes de propriétés ou d'artefacts) et de ce que nous avons imposé la perception.

Par exemple, comme pour le son, vous avez un contraste ou des fréquences qui vous rendent moins ou pas au courant des autres contenus (un vieux papier SIGGRAPH illustre comment la texture peut masquer la résolution du maillage), ainsi que tous les aspects temporels (google pour "changer la cécité"). De même, les détails de la surface, des normales, du BRDF peuvent ou non être affichés en fonction des valeurs et des valeurs relatives.

De plus, puisque notre système perceptif a tendance à s'adapter localement et globalement, pour les valeurs de basse fréquence, il est important d'avoir des maxima et des minima aux bons endroits, mais leur valeur exacte ne sera pas vraiment remarquée.

Parfois, la cognition peut être là, comme vous autorisez beaucoup d'erreurs dans les nuages ​​et les arbres mais sûrement moins dans les visages humains. (Parfois, vous pouvez rétrograder cela à des statistiques de paramètres pour une catégorie donnée.)

C'est pourquoi je préfère utiliser le mot "plausible" plutôt que "photoréaliste".

Au contraire, nous sommes ultra-sensibles aux artefacts tels que les faux pixels ou les pixels vacillants, ultra-sensibles aux corrélations comme les fronts d'erreur à 1 niveau de gris uniquement, les motifs indésirables tels que le moiré, l'aliasing ou le mauvais aléatoire, etc.

Soit dit en passant, c'est l'une des raisons pour lesquelles les solutions basées sur l'optimisation résumant tout dans une énergie simple peuvent être une très mauvaise idée de manière perceptive, car dans toutes les situations paradoxales, cela peut être sujet à la concentration d'erreurs dans les lignes ou les points. Pour la même raison, les premiers éclaireurs mondiaux étaient vraiment déçus que les solutions exactes en énergie soient moins acceptées que les ombres approximatives anti-aliasées (puis soient passées de méthodes adaptatives basées sur des arbres à des méthodes basées sur des mailles).

Un aperçu (assez général) de la perception des graphiques peut être trouvé dans ce cours SigAsia'11 sur "Perception dans les graphiques, la visualisation, les environnements virtuels et l'animation"

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.