Détection de compression vs codage clairsemé

Il existe apparemment différentes terminologies utilisées pour faire référence au même domaine appelé "détection compressive" comme (voir cette page wiki ): détection compressée, échantillonnage compressif ou échantillonnage clairsemé. Je me pose des questions sur la "détection clairsemée"!

Néanmoins, et après quelques recherches sur Internet, ce que les gens appellent le "codage clairsemé" ne semble pas faire référence au champ "détection compressive" comme les autres terminologies que j'ai citées ci-dessus.

Y a-t-il vraiment une différence entre la détection compressive et le codage clairsemé?

Et l'apprentissage des dictionnaires?

Quelques ouvrages de référence proposent une explication:

• Une interprétation neurologique décrite dans Scholarpedia
• Tutoriel d'apprentissage des fonctionnalités et d'apprentissage en profondeur non supervisé de Stanford

Si nous regardons la définition du terme dans le contexte de l'apprentissage par dictionnaire, par exemple dans K-SVD: un algorithme pour concevoir des dictionnaires trop complets pour une représentation parcimonieuse , le terme est défini:

Codage Sparse est le processus de calcul des coefficients de représentation en fonction du signal donné et le dictionnaire .$\mathbf x$$\mathbf y$$\mathbf D$

Le codage clairsemé consiste donc à trouver une représentation clairsemée d'un signal donné dans un dictionnaire donné. En ce qui concerne la détection compressée, cela me semble être l'interprétation la plus pertinente du terme. En tant que tel, le codage clairsemé est étroitement lié à la détection compressée, mais la détection compressée traite spécifiquement de la recherche de la solution la plus clairsemée à un ensemble sous-déterminé d'équations linéaires qui, comme le montre la théorie, est la bonne solution dans ce cas avec une probabilité élevée. Le codage clairsemé est alors plus général en ce sens qu'il ne traite pas nécessairement d'un ensemble d'équations sous-déterminé.

Comme vous l'avez correctement noté , la détection compressée, l'échantillonnage compressif et l'échantillonnage clairsemé signifient tous la même chose. Certains auteurs l'appellent également détection clairsemée. L'idée derrière la détection compressée est qu'un signal clairsemé peut être récupéré à partir de très peu de mesures linéaires. En symboles, si$\mathbf x$ est $N\times 1$ clairsemé$^\ddagger$ vecteur, et $\mathbf A$ est un $M\times N$ matrice avec $M\ll N$, et nous mesurons $\mathbf y=\mathbf{Ax}$, puis la théorie de la détection compressée nous dit$^\dagger$ que nous pouvons récupérer exactement $\mathbf x$ de $\mathbf y$. Ceci est remarquable car il dit que nous pouvons récupérer le signal d'origine à partir de moins de mesures.

L'apprentissage des dictionnaires, d' autre part, traite d'un problème entièrement différent de représentation parcimonieuse d'un ensemble de vecteurs de données. Étant donné un ensemble de vecteurs de données$\{\mathbf x_1, \mathbf x_2,\ldots, \mathbf x_K\}$, nous aimerions trouver un autre ensemble de vecteurs $\{\mathbf v_1, \mathbf v_2,\ldots, \mathbf v_L\}$ (appelés "atomes") de sorte que chaque vecteur de données $\mathbf x_i$ peut être représenté comme une combinaison linéaire de ces $\mathbf v_j$'s. L'ensemble des atomes s'appelle un dictionnaire. Le but ici est d'apprendre un dictionnaire beaucoup plus petit que le nombre de vecteurs de données$^*$ c'est à dire $L < K$.

Étant donné un ensemble d'atomes dans un dictionnaire et un vecteur $\mathbf y$, le but du codage clairsemé est de représenter$\mathbf y$ comme une combinaison linéaire de aussi peu d'atomes que possible.

Enfin, l' apprentissage par dictionnaire clairsemé est une combinaison d'apprentissage par dictionnaire et de codage clairsemé. Le but ici est double: trouver une représentation parcimonieuse de l'ensemble des vecteurs de données et s'assurer que chaque vecteur de données peut être écrit comme une combinaison linéaire du moins d'atomes possible.

Détection compressée v / s codage clairsemé
Ces deux techniques traitent de la recherche d'une représentation clairsemée, mais il existe de subtiles différences.

La détection compressée traite spécifiquement du problème de la résolution d'un système sous-déterminé d'équations linéaires, c'est-à-dire moins de points de données que le signal d'origine. D'un signal clairsemé inconnu$\mathbf x$ et matrice de détection $\mathbf A$, on observe le vecteur de données $\mathbf y = \mathbf{Ax}$. $\mathbf A$a moins de lignes que de colonnes. La théorie de la détection comprimée traite des types de questions suivants:

1. Dans quelles conditions l'ensemble sous-déterminé d'équations linéaires est-il résoluble et comment pouvons-nous le résoudre d'une manière robuste au bruit et calculable?

2. Comment concevons-nous des matrices de détection $\mathbf A$ pour diverses applications?

En revanche, le codage clairsemé ne traite pas la question de la conception $\mathbf A$. De plus, vous n'êtes pas intéressé à résoudre un système d'équations sous-déterminé ---$\mathbf A$ est autorisé à avoir plus de lignes que de colonnes.$^\%$

Références:

Détection compressive [Notes de cours]

Apprentissage du dictionnaire

Apprentissage de dictionnaire en ligne pour un codage épars

Notes de bas de page:

$^\ddagger$ Clairsemé signifie que le vecteur a très peu d'éléments non nuls.

$^\dagger$ $\mathbf A$ et $M$ besoin de satisfaire à certaines conditions techniques.

$^*$Contrairement aux méthodes de transformation standard telles que la transformation de Fourier, l'apprentissage par dictionnaire est adaptatif aux données. Lors de la prise d'une transformée de Fourier, les vecteurs de base$\mathbf v_j$sont fixés à l'avance (exponentielles complexes). Dans l'apprentissage par dictionnaire, ils sont tirés des données.

$^\%$ C'est ce qu'on appelle un dictionnaire trop complet.