Quelle est la méthode de pointe pour traiter les problèmes d'éclairage dans la soustraction d'arrière-plan?

J'ai du mal à trouver une approche bien citée à ce sujet. Essentiellement, j'expérimente différents algorithmes de soustraction d'arrière-plan, mais aucun ne semble bien fonctionner lorsqu'il y a des changements d'éclairage importants (par exemple, à partir d'une fenêtre de la scène qui reçoit un éblouissement significatif à des moments spécifiques).

La question est simple (relativement): quelles sont les méthodes de pointe pour la soustraction de fond avec des changements d'éclairage soudains? Mon scénario est des caméras de surveillance.

L'approche standard consiste à utiliser un mélange de gaussiens pour modéliser les différentes lois qui commandent l'intensité d'un pixel. Dans cette approche, un pixel peut se voir attribuer plusieurs lois normales (avec une moyenne et une variance différentes), chacune modélisant sa valeur dans différentes conditions. Bien sûr, un seul gaussien doit être actif à la fois.

Alors que le nombre maximum de gaussiennes dans le mélange est un paramètre (fixe), les paramètres de chaque gaussien sont appris en ligne. Vous pouvez trouver un exemple d'implémentation dans la bibliothèque OpenCV .

Il y a quelques années, quelqu'un (désolé, je ne trouve plus le nom) a proposé une approche alternative intéressante: utiliser des variations de l'orientation du gradient d'image au lieu de variations des intensités lumineuses. L'orientation du gradient a l'avantage d'être invariante au contraste, ce qui la rend plus résistante aux changements d'éclairage. Intuitivement, cela fonctionne car l'orientation du dégradé est liée aux formes de l'image, pas à leur couleur ou leur luminosité.

Il ne s'agit en aucun cas d'une approche ou d'un état de l'art "bien cité" pour la soustraction d'arrière-plan. Cependant, votre deuxième phrase disait que vous expérimentiez différentes approches , donc je pense que ce que j'ai à dire aura encore une certaine valeur.

Général sur l'approche:

Ce que je propose est une représentation d'image invariante de contraste , appelée l' Arbre des Formes , ou l' Arbre des Lignes de Niveau (il y avait plus de noms, malheureusement, ils ne se sont toujours pas arrêtés sur un nom communément accepté).

L' idée générale dans cette application proposée est de construire des représentations de contraste-invariant-ish d'un couple d'images$I_x$ et $I_y$, puis recherchez les différences. L’avantage est que vous pouvez obtenir en sortie des pièces présentes$I_y$ mais pas dans $I_x$(ou vice versa) par opposition à la plupart des comparaisons d'images simples , où le résultat est toutes les différences, c'est-à-dire tout ce qui est présent dans l'une des images et non dans l'autre .

Façon possible d'utiliser avec des caméras de sécurité:

Si votre application est une caméra de sécurité, je suppose que vous pouvez obtenir quelques images réalistes dans de bonnes conditions (éclairage uniforme, faibles occlusions). Ensuite, vous pouvez créer un arbre de formes à partir de votre image de la réalité du sol, puis l'utiliser pour détecter de nouveaux objets présents dans les images actuelles . Les arbres devraient être similaires, car ils ne sont pas basés sur des niveaux de gris globaux de pixels, mais plutôt sur un "contraste local": la principale question qui motive le processus de construction d'arbres est qu'il est plus clair / plus sombre que l'environnement , et non pas comment lumineux / sombre est-ce .

Littérature:

Les deux dernières pages de ce document sont pertinentes pour votre application:

• P. Monasse, F. Guichard: Calcul rapide de la représentation d'image invariante par contraste (2000)

  (article pertinent avec exemple d'application)

Vous pouvez trouver des références pertinentes dans ma réponse ici , mais il me semble maintenant que le bref aperçu que j'ai fait pour cette réponse est loin d'être complet.

Les auteurs de cet article ont également publié un livret dans la série LNM sur cet arbre particulier:

• V. Caselles, P. Monasse: Description géométrique des images sous forme de cartes topographiques (2010)

  (livret avec de nombreux détails)

Et enfin, ces approches étaient plus théoriques que pratiques jusqu'à il y a quelques jours à peine, car le pire des cas de construction était quadratique en nombre de pixels d'image. Pas plus tard qu'hier, un algorithme quasi linéaire a été présenté qui rend finalement l'Arbre des Formes utilisable dans diverses applications:

• T. Géraud, E. Carlinet, S. Crozet, L. Najman: un algorithme quasi-linéaire pour calculer l'arbre des formes des images nD

  (mise en œuvre rapide)