L'informatique entropy

7

Les PRNG peuvent-ils être utilisés pour compresser des choses comme par magie?

Cette idée m'est venue en tant qu'enfant apprenant à programmer et rencontrant pour la première fois les PRNG. Je ne sais toujours pas à quel point c'est réaliste, mais maintenant, il y a échange de pile. Voici un schéma de 14 ans pour un algorithme de compression incroyable: Prenez un …

38 information-theory randomness data-compression pseudo-random-generators entropy

6

Les algorithmes de compression sans perte réduisent-ils l'entropie?

Selon Wikipedia : L'entropie de Shannon mesure les informations contenues dans un message par opposition à la partie du message qui est déterminée (ou prévisible). Des exemples de ces derniers incluent la redondance dans la structure du langage ou les propriétés statistiques relatives aux fréquences d'occurrence de paires de lettres …

35 information-theory data-compression entropy

2

Simuler une probabilité de 1 sur 2 ^ N avec moins de N bits aléatoires

Disons que je dois simuler la distribution discrète suivante: P( X= k ) = { 12N,1 - 12N,si k = 1si k = 0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} La façon la …

31 algorithms information-theory randomness pseudo-random-generators entropy

7

Existe-t-il un lien entre le problème d'arrêt et l'entropie thermodynamique?

Alan Turing a proposé un modèle pour une machine (la Turing Machine, TM) qui calcule (nombres, fonctions, etc.) et a démontré le théorème de Halting . Une MT est un concept abstrait d'une machine (ou d'un moteur si vous le souhaitez). Le théorème de l'arrêt est un résultat impossible. Un …

31 turing-machines halting-problem entropy

11

Le hasard de von Neumann dans la citation de péché n'est-il plus applicable?

Un type a dit ce qui suit: Quiconque tente de générer des nombres aléatoires par des moyens déterministes vit, bien sûr, dans un état de péché. Cela signifie toujours que vous ne pouvez pas générer de vrais nombres aléatoires avec juste un ordinateur. Et il a dit que lorsque les …

25 randomness data-compression entropy random-number-generator

2

Comment un système d'exploitation crée-t-il une entropie pour des graines aléatoires?

Sous Linux, les fichiers /dev/randomet les/dev/urandom fichiers sont les sources bloquantes et non bloquantes (respectivement) d'octets pseudo-aléatoires. Ils peuvent être lus comme des fichiers normaux: $ hexdump /dev/random 0000000 28eb d9e7 44bb 1ac9 d06f b943 f904 8ffa 0000010 5652 1f08 ccb8 9ee2 d85c 7c6b ddb2 bcbe 0000020 f841 bd90 9e7c …

19 operating-systems cryptography randomness security entropy

2

Qu'est-ce qui est plus difficile: mélanger un jeu trié ou trier un jeu mélangé?

Vous avez un tableau de éléments distincts. Vous avez accès à un comparateur (une fonction de boîte noire prenant deux éléments et et retournant vrai ssi ) et une source de bits vraiment aléatoire (une fonction de boîte noire ne prenant aucun argument et retournant un bit aléatoire uniformément indépendant). …

18 algorithms algorithm-analysis information-theory permutations entropy

3

Entropie de Shannon de 0,922, 3 valeurs distinctes

Étant donné une chaîne de valeurs AAAAAAAABCAAAAAAAABCAAAAAAAABC , l'entropie de Shannon dans la base de log 222 s'élève à 0.9220.9220.922 . D'après ce que je comprends, dans la base 222 l'entropie de Shannon arrondie est le nombre minimum de bits en binaire pour représenter une seule des valeurs. Tiré de …

14 information-theory mathematical-foundations entropy binary

1

Déduire les types de raffinement

Au travail, j'ai été chargé de déduire des informations de type sur un langage dynamique. Je réécris des séquences d'instructions en imbriquéeslet expressions , comme ceci: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y …

11 programming-languages logic type-theory type-inference machine-learning data-mining clustering order-theory reference-request information-theory entropy algorithms algorithm-analysis space-complexity lower-bounds formal-languages computability formal-grammars context-free parsing complexity-theory time-complexity terminology turing-machines nondeterminism programming-languages semantics operational-semantics complexity-theory time-complexity complexity-theory reference-request turing-machines machine-models simulation graphs probability-theory data-structures terminology distributed-systems hash-tables history terminology programming-languages meta-programming terminology formal-grammars compilers algorithms search-algorithms formal-languages regular-languages complexity-theory satisfiability sat-solvers factoring algorithms randomized-algorithms streaming-algorithm in-place algorithms numerical-analysis regular-languages automata finite-automata regular-expressions algorithms data-structures efficiency coding-theory algorithms graph-theory reference-request education books formal-languages context-free proof-techniques algorithms graph-theory greedy-algorithms matroids complexity-theory graph-theory np-complete intuition complexity-theory np-complete traveling-salesman algorithms graphs probabilistic-algorithms weighted-graphs data-structures time-complexity priority-queues computability turing-machines automata pushdown-automata algorithms graphs binary-trees algorithms algorithm-analysis spanning-trees terminology asymptotics landau-notation algorithms graph-theory network-flow terminology computability undecidability rice-theorem algorithms data-structures computational-geometry

2

Y a-t-il une généralisation du codage de Huffman au codage arithmétique?

En essayant de comprendre les relations entre le codage Huffman, le codage arithmétique et le codage par plage, j'ai commencé à penser que les défauts du codage Huffman étaient liés au problème de la compression fractionnaire des bits . Autrement dit, supposons que vous ayez 240 valeurs possibles pour un …

11 information-theory data-compression coding-theory entropy huffman-coding

1

Problème d'optimisation contraint dans l'entropie matricielle

J'ai un problème d'optimisation contraint dans l'entropie de la matrice (Shannon) . La matrice peut être écrite comme la somme des matrices de rang 1 de la forme où est un vecteur normalisé donné. Les coefficients des matrices de rang 1 sont les inconnues dans lesquelles nous optimisons et ils …

10 optimization entropy

1

Comment mesurer pratiquement l'entropie d'un fichier?

J'essaie de mesurer maintenant beaucoup d'informations non redondantes (réelles) que contient mon fichier. Certains appellent cela la quantité d'entropie. Bien sûr, il existe le journal standard p (x) {p (x)}, mais je pense que Shannon ne le considérait que du point de vue de la transmission via un canal. Par …

9 entropy

1

Entropie de Rényi à l'infini ou entropie min

Je lis un article qui fait référence à la limite car n va à l'infinité de l'entropie de Rényi. Il le définit commeHn(X)=11−nlog2(∑i=1Npni)Hn(X)=11−nlog2⁡(∑i=1Npin){{H}_{n}}\left( X \right)=\dfrac{1}{1-n} \log_2 \left( \sum\limits_{i=1}^{N}{p_{i}^{n}} \right). Il indique ensuite que la limiten→∞n→∞n\to \infty est −log2(p1)−log2⁡(p1)-\log_2 \left( p_1 \right). J'ai vu un autre article qui utilise le maximum …

8 information-theory entropy

Questions marquées «entropy»