Résultats de codage de canal utilisant la complexité de Kolmogorov

12

L'entropie de Shannon est généralement utilisée pour prouver les résultats du codage de canal. Même pour les résultats de séparation source-canal, l'entropie shannon est utilisée. Étant donné l'équivalence entre les notions d'information de Shannon (global) et de Kolmogorov (local), y a-t-il eu une étude pour utiliser la complexité de Kolmogorov pour ces résultats (ou au moins pour remplacer la partie de codage source dans les résultats de séparation des canaux source)?

it.information-theory kolmogorov-complexity shannon-entropy

— contre
source

Avez-vous jeté un œil à la 3ème édition du livre Li & Vitanyi ? Si je ne me trompe pas, le 8. chapitre du livre a été ajouté dans la dernière édition et contient un chapitre sur la théorie de l'information. Il présente l'entropie de Shannon, l'information mutuelle, la distorsion de débit, etc. analysée dans le sens de la complexité de Kolmogorov.

— Juho

Salut c'est vrai. Mais il n'y a aucune application au théorème de codage bruyant de Shannon!

— vs

8

Pour la capacité du canal, il semble difficile de remplacer l'entropie de Shannon par la complexité de Kolmogorov. La définition de la capacité du canal ne contient aucune mention d'entropie. L'utilisation de l'entropie de Shannon donne la bonne formule pour la capacité du canal (c'est le théorème de Shannon). Si vous remplaçiez la formule par l'entropie de Shannon par une formule avec la complexité de Kolmogorov, ce serait vraisemblablement une formule différente, et donc ce serait la mauvaise réponse .

$K$ $C$ $K/C$

La partie difficile du théorème de séparation source-canal montre que vous ne pouvez pas faire mieux que la méthode évidente (décrite dans le paragraphe précédent) de compression puis d'encodage. Je ne sais pas si quelqu'un l'a prouvé pour la complexité et la capacité des canaux de Kolmogorov, mais c'est une question raisonnable à enquêter.

— Peter Shor
source

K

$K$

K

$K$

1

C \leq 1

$C \leq 1$

Ω (\log^{*} n)

$\Omega(\log^{*}n)$

n

$n$

\log \log n

$\log\log{n}$

r

$r$

\frac{r}{\log^{*} r}

$\frac{r}{\log^{*}r}$

1

Je ne sais pas de quoi vous parlez lorsque vous utilisez les qualificatifs locaux / globaux sur l'entropie de Shannon et la complexité de Kolmogorov.

Alors corrigez-moi si je me trompe.

L'entropie de Shannon est calculable. La complexité de Kolmogorov ne l'est pas. Ils ne décrivent donc pas le même problème.

Vous pouvez voir l'entropie de Shannon comme une limite supérieure à la complexité de Kolmogrov.

— Phil
source

Comment l'entropie de Shannon est-elle une borne supérieure? Je crois qu'il est prouvé que les deux sont identiques.

— T ....