Existe-t-il un logiciel permettant d'identifier l'éclairage d'une photo existante?

Existe-t-il une application qui prendra une région sélectionnée d'une photo et renverra son estimation des paramètres d'éclairage requis pour émuler les conditions d'éclairage dans la région sélectionnée de la photo?

Ma conjecture sur les paramètres qu'il renverrait comprend: les sources d'éclairage, la diffusivité de la source, la couleur de la source, la durée de la source, la source de lumière réfléchie / incidente, le mouvement de la source, etc. qu'il est possible de les modéliser statiquement.)

lighting software white-balance

— bévues
source

Cela semble être un défi de taille. Lorsque nous regardons une photo, nous appliquons des connaissances contextuelles sur ce que nous regardons (en d'autres termes, nous avons dans notre esprit une version de "normale" que nous pouvons comparer à la photo). Je serai impressionné s'il y a quelque chose qui peut le faire.

— D. Lambert

@RÉ. Lambert: D'accord, bien que certains algorithmes de PhotoShop fassent des calculs pour des choses comme ça, mais il n'y a pas de sortie lisible pour un usage externe pour autant que je sache; ce qui signifie que ces calculs sont utilisés comme entrée pour d'autres calculs.

— bévue le

Le travail requis pour créer un logiciel comme celui-ci est des millions de fois par rapport aux 2-3 heures de formation dont quelqu'un aurait besoin pour deviner assez précisément la plupart des paramètres. De plus, certaines de ces choses sont impossibles à comprendre ... durée-source?

— Jędrek Kostecki

+1 @ Jędrek Kostecki: Bon point concernant le fait que les humains pourraient le faire plus rapidement (actuellement), mais quel est le plaisir dans cela ... :-) ... "source-duration" par exemple, un flash a été utilisé.

— bévue le

Ah, le meilleur logiciel au monde est probablement le cerveau humain. Des algorithmes pourraient être développés pour cela qui pourraient faire des approximations raisonnables basées sur les reflets et les ombres, mais pourquoi le faire? Le cerveau humain est susceptible de sauter à la réponse plus rapidement avec la technologie d'aujourd'hui qu'un ordinateur.

— John Cavan

Réponses:

En fait, il y a eu pas mal de recherches dans ce domaine:

Les résultats sont cependant limités car le problème est massivement sous-contraint, car il y a beaucoup plus d'inconnues que de données. Cela signifie que les solutions exactes sont impossibles, et toute réponse que vous obtenez est sujette à ambiguïté.

Un autre problème pour ce que vous suggérez est que la recherche dans ce domaine est orientée vers la compréhension par la machine des images visuelles. Être capable d'estimer l'illumination serait important pour les robots naviguant visuellement dans un labyrinthe car ils seraient capables de juger l'angle des murs, etc. Ces applications auront des exigences différentes sur le logiciel que l'objectif artistique de recréer l'éclairage dans un bon portrait pour exemple.

Au sujet de la différence entre recherche et logiciel commercial, la recherche d'aujourd'hui constitue la base du logiciel de demain (une des raisons pour lesquelles je parcours chaque année les travaux de SIGGRAPH). L'assemblage panoramique automatique était autrefois un projet de recherche et est maintenant considéré comme acquis. Je me souviens avoir lu sur le redimensionnement du contenu lorsqu'il a été publié lors d'une conférence sur la vision par ordinateur (à l'époque, il s'appelait "sculpture de couture") et il ne restait que quelques années avant de devenir une fonctionnalité standard de Photoshop.

Il y a cependant une différence entre quelque chose de sensible au contenu et ce que vous proposez, et c'est que le remplissage sensible au contenu peut économiser des heures de retouche et donc il y a une grande demande de sa part. L'estimation des conditions d'éclairement d'une photographie est un processus très rapide pour quelqu'un qui sait éclairer.

Une dernière lueur d'espoir réside dans le domaine de la post-production vidéo. L'estimation / la modélisation des conditions d'éclairage d'origine est importante pour la composition réaliste d'animations générées par ordinateur en images réelles (les incohérences d'éclairage sont beaucoup plus susceptibles d'être remarquées dans les images en mouvement que dans les photos). Cela, plus la quantité supplémentaire de données disponibles dans un flux vidéo, et j'imagine que vous verriez la fonctionnalité que vous recherchez après être apparue en premier dans un logiciel de montage vidéo.

— Matt Grum
source

+1 @Matt Grum: Merci, la recherche aide à "éclairer" les problèmes de résolution de ce problème. Je suppose que les capteurs de robot et l'IA utiliseraient très probablement la corrélation des observations longitudinales dans le temps et l'espace, y compris des filtres pour différentes longueurs d'onde de lumière; par exemple, infrarouge pour détecter la chaleur. En ce qui concerne les objectifs artistiques, voulez-vous dire qu'ils nécessiteraient très probablement des inférences qui iraient au-delà de l'emplacement de la caméra, des lumières et des objets.

— bévue le

Je suppose que l'on devrait souligner que lorsqu'il s'agit de pano automatique. l'assemblage, vous disposez de toutes les informations nécessaires dans les images que vous assemblez. Cela contraste fortement avec la supposition de l'éclairage éclairant une scène, car (en dehors d'une lumière DANS la scène), vous ne pouvez jamais réellement savoir quelle était la source de lumière. En couture panoramique, vous êtes riche en informations ... en devinant la source lumineuse, vous êtes anémique. En ce qui concerne la vidéo et la CG, vous avez la possibilité de saisir explicitement des informations d'éclairage EXACT, et il n'est pas nécessaire de deviner.

— jrista

@jrista c'est vrai, mais dans le remplissage sensible au contenu , vous n'avez aucune information sur la zone que vous essayez de remplir, tout est inférence - comme le problème d'estimation de l'éclairage, cela aurait semblé assez improbable à un moment donné mais maintenant c'est une fonctionnalité standard dans Photoshop, GIMP

— Matt Grum

+1 @Matt Grum: En fait, le remplissage sensible au contenu était ce que j'avais pensé à titre d'exemple approximatif, voici une vidéo montrant un exemple de son utilisation .

— bévue le

@MattGrum: Si vous recherchez comment fonctionne le remplissage sensible au contenu, il n'est pas aussi anémique que l'éclairage invité. Une partie importante du remplissage sensible au contenu est le clonage du contenu à proximité, ainsi que certains algorithmes intelligents de base et la mise en correspondance de modèles pour rendre le contenu rempli cohérent et cohérent avec les modèles. Vous avez BEAUCOUP d'informations disponibles pour rendre le travail de remplissage conscient du contenu ... comme la couture panoramique. La seule information dont vous disposez pour deviner l'éclairage est ce qui est reflété par la scène. La quantité d'informations utiles disponibles est différente de plusieurs ordres de grandeur.

— jrista

Franchement, non - pas avec les logiciels actuellement disponibles. Il y a peut-être des recherches en cours ici et qui sait ce que l'avenir nous réserve, mais pour l'instant, non.

Il y a trop d'informations à traiter pour que le logiciel puisse y aller - en particulier au niveau des consommateurs. À tout le moins, il faudrait avoir un moyen de dire au logiciel à quoi ressemblait le sujet UNLIT. C'est l'avantage d'un humain - nous avons une pré-visualisation dans notre esprit de ce à quoi le sujet ressemblerait normalement. Cela permet à une personne de dire "eh bien, il n'y a NORMALEMENT pas de zone sombre qui s'estompe là-bas ou de tache lumineuse là-bas".

De plus, il existe BEAUCOUP de façons différentes de produire le même effet dans l'éclairage (bien que beaucoup soient plus courantes que d'autres).

— rfusca
source

@rfusca: Oui, la "pré-prise de conscience" des objets de qualités réfléchissantes et la relation de la caméra avec les lumières et les objets augmenteraient la probabilité que cela soit possible, je pense toujours que c'est possible; les estimations ne sont après tout pas parfaites.

— bévue le

@blunders: Au mieux, les estimations pourraient vous donner des informations approximatives sur la quantité de RÉFLEXION qui peut être observée dans une scène ... mais j'insiste sur les approximations . Essayer d'obtenir autre chose qu'une hypothèse rouge sur le nombre de sources de lumière, les attributs de la source (couleur, diffusivité, durée d'émission), etc. demande vraiment beaucoup de conjectures basées sur un jugement basé sur l'observation. S'il y a une chose que les ordinateurs craignent ... c'est tout. Faire une estimation précise et instruite de l'éclairage qui a pu éclairer une scène nécessite un esprit expérimenté .

— jrista

Vous pourriez faire valoir qu'une intelligence artificielle suffisamment avancée pourrait en apprendre suffisamment pour devenir un esprit expérimenté en ce qui concerne l'observation de l'éclairage des photographies ... mais pour le moment je doute qu'il y ait même quelque chose comme ça à une échelle rudimentaire, sans parler de quelque chose qui pourrait produire des résultats toujours utiles.

— jrista

@jrista - Oui, ma réponse indique s'il y a probablement quelque chose avec la technologie actuelle qui produit des résultats réalistes, utilisables et précis.

— rfusca

Je pense que c'est probablement le cas. Cependant, je ne serais pas du tout surpris s'il y avait des recherches dans ce domaine. Cela semble être un problème intéressant. Donc, j'hésiterais à dire «non» sans étude.

— Veuillez lire mon profil le