Techniques de segmentation d'images modernes les plus courantes

Je faisais de la lecture sur les techniques de segmentation d'image et je me posais des questions sur les algorithmes de segmentation modernes et à la pointe de la technologie.

Quelles sont les techniques de segmentation actuelles à lire absolument, c'est-à-dire actuellement les plus couramment utilisées dans la communauté? Avec quelles techniques avez-vous été en contact et trouvé les plus efficaces et utiles (et pour quelle application)?

Je ne connais pas beaucoup de techniques de segmentation, mais j'ai eu affaire à des structures qui offrent un "choix" de morceaux de segmentation qui peuvent être examinés plus avant pour produire une segmentation satisfaisante.

J'espère que quelqu'un d'autre peut écrire sur une méthode de segmentation de pointe différente que je ne connais pas beaucoup.

Une petite introduction pour expliquer pourquoi il est agréable d'avoir des choix ou des niveaux de segmentation pour une image différente: la segmentation est un problème mal défini . La vérité fondamentale n'existe pas: les résultats souhaités dépendent toujours des exigences et des spécifications de l'utilisateur. Une belle citation:

Même pour une image fixe, il peut y avoir plus d'une "meilleure" segmentation car les critères définissant la qualité d'une segmentation dépendent de l'application. Cela nous a motivés à concentrer nos recherches sur les techniques de partitionnement d'images fournissant des "pièces de puzzle" qui peuvent être utilisées (...) pour générer une segmentation satisfaisant les besoins spécifiques des utilisateurs

( P. Soille: Connectivité contrainte pour le partitionnement et la simplification hiérarchiques d'images (2008) )

Il existe des structures hiérarchiques , des décompositions d'images hiérarchiques qui proposent des partitions d'images de complexité variable. Ces structures sont le plus simplement représentées comme des structures arborescentes, où chaque nœud représente une région dans l'image. L'idée avec les structures:

• les feuilles de la structure sont des régions d'une fine partition ou une sur-segmentation d'une image (par exemple pixels, zones planes - régions connectées de même intensité, bassin versant )
• les liens dans l'arbre représentent la fusion ou l' union de régions (voisines) et forment une région plus complexe, et sont construits de manière à produire les régions correspondant aux objets (avec un peu de chance :))
• la complexité des régions augmente le long de chaque branche des nœuds vers la racine de l'arbre
• chaque niveau de l'arbre (aussi, chaque coupe) est une partition / segmentation d'une image (plus grossière est la plus près de la racine)
• la racine de l'arbre couvre tout le domaine de l'image

La segmentation consiste alors à examiner les régions et leurs unions proposées, pour déterminer les régions dans l'arbre ou la coupe de l'arbre correspondant à la précision requise , ou certaines propriétés connues sur l'objet d'intérêt, ou d'autres spécifications utilisateur prédéfinies.

Les arbres (c'est-à-dire les décompositions d'images hiérarchiques) avec de telles propriétés sont:

• $\alpha$
• $(\omega)$
• Arborescences de partitions binaires (destinées à la segmentation et à la détection d'objets )

En plus des liens vers les articles déjà fournis, certains articles actuels plus spécifiques et moins spécifiques sur ce type de techniques de segmentation:

• Cousty, J., Najman, L .: Algorithme incrémental pour les forêts s'étendant sur un minimum hiérarchique et la saillance des coupes dans les bassins versants (2011)
• Soille, P., Grazzini, J .: Régions de connectivité et de transition contraintes (2009)

(plus pratique):

• Serna, A., Marcotegui, B .: Reconstruction contrôlée par attributs et morphologie mathématique adaptative (2013)
• Merciol, F., Lefèvre, S .: Segmentation rapide d'images et de vidéos basée sur une représentation multi-échelle alpha-tree (2012)

En complément à la réponse de Penelope , deux familles populaires (et à la mode) d'algorithmes.

Superpixels

Une famille d'algorithmes très populaire appelée Superpixels est très à la mode en ce moment (il y a même des sessions Superpixel dans les conférences CV). Les superpixels ressemblent beaucoup à une sur-segmentation (comme ce que le bassin versant vous donne), donc un certain post-traitement est nécessaire.

Les superpixels peuvent être vus comme de petites régions d'images homogènes . La distance entre les pixels est évaluée comme dans le filtrage bilatéral, c'est-à-dire que c'est un mélange entre leur distance spatiale et leur similitude visuelle qui va à 0 lorsqu'ils sont proches et similaires et à une valeur plus grande sinon.
Ensuite, les méthodes des superpixels essaient divers critères pour former de petites régions homogènes par rapport à cette mesure. Il y en a beaucoup (basé sur un graphique, basé sur la recherche de mode / basé sur un cluster ...), donc je suppose qu'il est préférable de vous référer à ce rapport technique .

(modifier :) Dans le cas où quelqu'un cherche un travail publié par des pairs, cet article est du même auteur et couvre le même matériel que le rapport technique: R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Susstrunk: les superpixels SLIC comparés aux méthodes de superpixel les plus récentes

Notez que j'ai écrit la première version de la réponse que visuellement les résultats sont très similaires à ce que la sur-segmentation du bassin versant vous offre. Cela est confirmé par les auteurs du rapport technique qui incluent les bassins versants dans la partie de travail connexe. Ainsi, vous devez également faire le même post-traitement: bien que les superpixels puissent être des fonctionnalités pratiques à utiliser à la place des pixels, ils doivent toujours être groupés afin de former des régions de niveau supérieur si vous avez besoin de suivre / détecter des objets.

Méthodes de segmentation basées sur des graphiques

Une autre famille d'algorithmes populaire vient de l'analyse de la relation entre les pixels, c'est-à-dire de la façon dont les pixels sont proches dans leur apparence. Cela donne une famille de méthodes de segmentation basées sur la théorie des graphes telles que la coupe normalisée (J. Shi, J. Malik: Coupes normalisées et segmentation d'image ) .

Voici l'intuition de cette approche: supposons que vos pixels soient maintenant des points (sommets) d'un graphe de grande dimension.
Dans le graphique, deux sommets peuvent être reliés par une arête , dont le poids est inversement proportionnel à une certaine distance entre les sommets. Typiquement, la fonction de poids sera une réciproque d'un mélange entre leur distance spatiale et leur similitude visuelle 8as dans le filtrage bilatéral).
Ensuite, étant donné ce graphique, les algorithmes de segmentation peuvent rechercher les meilleurs groupes de sommets, c'est-à-dire les groupes de sommets qui ont une petite distance intra-groupe et une grande distance extra-groupe .

Dans l'approche de la coupe normalisée, des précautions supplémentaires sont prises afin d'éviter tout biais introduit par les différentes tailles de population des grappes. De plus, l'exploration des graphes peut être évitée en calculant la SVD de la matrice des poids, également connue sous le nom de matrice de connectivité en théorie des graphes.

Je suppose que pour un aperçu global de l'état de l'art des algorithmes de segmentation, il faut rechercher les dernières enquêtes. Un bon aperçu mondial des défis est présenté dans le livre de Szeliski .