Relation entre entropie et SNR

En général, toute forme d'énropie est définie comme une incertitude ou un caractère aléatoire. Dans un environnement bruyant, avec une augmentation du bruit, je pense que l'entropie augmente car nous sommes plus incertains sur le contenu informationnel du signal souhaité. Quelle est la relation entre l'entropie et le SNR? Avec l'augmentation du rapport signal / bruit, la puissance du bruit diminue mais cela n'implique pas que le contenu informationnel du signal augmente !! Le contenu de l'information peut rester le même, cela signifie-t-il que l'entropie n'est pas affectée?

Lorsque vous dites que le "contenu d'information peut rester le même", voulez-vous dire les informations du signal total ou les informations du signal souhaité? Espérons que cela répondra aux deux cas. Je connais l'entropie de Shannon beaucoup mieux que Kolmogorov, donc je vais l'utiliser, mais j'espère que la logique se traduira.

Disons que est votre signal total ( X ), composé de la somme de signal souhaité S et votre composant de bruit N . Entropie d'appel Soit l'H . Comme vous l'avez dit, le bruit ajoute de l'entropie à un système en augmentant sa complexité. Cependant, ce n'est pas nécessairement seulement parce que nous sommes plus incertains quant au contenu informationnel du signal, mais parce qu'il y a plus d'incertitude dans le signal dans son ensemble. Si le type SNR mesure à quel point nous sommes certains de ce que S est, alors le type H ( X ) mesure à quel point nous pouvons prédire les futurs états de $X = S + N$$X$$S$$N$$H$$S$$H(X)$$X$sur la base de l'état actuel de . L'entropie s'intéresse à la complexité de l'ensemble du signal, quelle que soit la composition du bruit par rapport au non-bruit.$X$

Si vous augmentez le SNR en supprimant le bruit (atténuant ), vous diminuez la complexité totale du signal X et donc son entropie. Vous avez pas perdu toute information portée par S , seulement (probablement dénuée de sens) l' information portée par N . Si N est un bruit aléatoire, il ne contient évidemment pas d'informations significatives, mais il faut une certaine quantité d'informations pour décrire l'état de N , déterminée par le nombre d'états dans lesquels N peut être et la probabilité qu'il se trouve dans chacun de ces états. Voilà l'entropie.$N$$X$$S$$N$$N$$N$

Nous pouvons regarder deux distributions gaussiennes avec des variances différentes, disons que l'une a une variance de et l'autre une variance de 100 . En regardant simplement l'équation d'une distribution gaussienne, nous voyons que la distribution V a r = 100 a une probabilité maximale qui n'est que de $1$$100$$Var=100$ ème la valeur de laprobabilitédevar=1distr. Inversement, cela signifie qu'il y a une plus grande probabilité que leVar=100distr prendra des valeurs autres que la moyenne, ou qu'il y ait plus de certitude que ladistribution deVar=1prendra des valeurs proches de la moyenne. Ainsi, ladistributionVar=1a une entropie plus faible que ladistributionVar=100.$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$

Nous avons établi qu'une variance plus élevée implique une entropie plus élevée. En ce qui concerne la propagation des erreurs, il est également vrai que (égal pour X , Y indépendant ). Si X = S + N , alors pour l'entropie H , H ( X ) = H ( S + N ) . Puisque$Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$$X = S + N$$H$$H(X) = H(S+N)$ est (indirectement) une fonction de la variance, on peut truquer un peu les choses pour dire H ( V a r [ X ] ) = H ( V a r [ S + N ] ) . Pour simplifier, nous disons que S et N sont indépendants, donc H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ $H$$H(Var[X]) = H(Var[S+N])$$S$$N$ . Un SNR amélioré signifie souvent une atténuation de la puissance du bruit. Ce nouveau signal avec un SNR plus élevé sera alors X = S + ( $H(Var[X]) = H(Var[S] + Var[N])$, pourk>1. L'entropie devient alorsH(Var[X])=H(Var[S]+(1/k)2∗Var[N]). kest supérieur à1, doncVar[N]diminue lorsque N est atténué. SiV$X = S + (\frac {1} {k})N$$k>1$$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$$k$$1$$Var[N]$ diminue, tout comme V a r [ S + N ] , et donc V a r [ X ] , ce qui entraîne une diminution de H ( X ) .$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

Pas très concis, désolé. En bref, l'entropie de diminue si vous augmentez le SNR, mais vous n'avez rien fait pour les informations de S. Je ne trouve pas les sources pour le moment, mais il existe une méthode pour calculer le SNR et les informations mutuelles (une mesure bivariée similaire à l'entropie) les unes des autres. Peut-être que le principal point à retenir est que le SNR et l'entropie ne mesurent pas la même chose.$X$$S$

Voici une citation de [1, p. 186]pour commencer, OP ou Googler:

$\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

$\mathcal{H}$

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006