Pourquoi la génération de 8 bits aléatoires est-elle uniforme sur (0, 255)?

Je génère 8 bits aléatoires (un 0 ou un 1) et les concatène ensemble pour former un nombre de 8 bits. Une simple simulation Python donne une distribution uniforme sur le jeu discret [0, 255].

J'essaie de justifier pourquoi cela a du sens dans ma tête. Si je compare cela au fait de jeter 8 pièces, la valeur attendue ne serait-elle pas autour de 4 têtes / 4 queues? Pour moi, il est donc logique que mes résultats reflètent un pic au milieu de la plage. En d'autres termes, pourquoi une séquence de 8 zéros ou de 8 uns semble-t-elle être tout aussi probable qu'une séquence de 4 et 4, ou de 5 et 3, etc.? Qu'est-ce que j'oublie ici?

TL; DR: Le contraste entre les pièces de monnaie et les pièces de monnaie est que, dans le cas des pièces de monnaie, vous ignorez l’ ordre des résultats. HHHHTTTT est traité comme le même que TTTTHHHH (les deux ont 4 têtes et 4 queues). Mais peu à peu, l’ordre vous importe (parce que vous devez donner des "poids" aux positions des bits pour obtenir 256 résultats), donc 11110000 est différent de 00001111.

Explication plus longue: ces concepts peuvent être unifiés plus précisément si nous définissons un peu plus formel le problème. Considérez une expérience comme une séquence de huit essais avec des résultats dichotomiques et une probabilité de "succès" 0,5, et un "échec" 0,5, les essais étant indépendants. En général, j'appellerai cela succès, essais totaux et échecs et la probabilité de succès est .n n - k $k$$n$$n-k$$p$

• Dans l'exemple de pièce, le résultat " têtes, queues" ignore l'ordre des essais (4 têtes correspond à 4 têtes quel que soit l'ordre d'apparition), ce qui donne à penser que 4 têtes sont plus susceptibles que 0 ou 8 têtes. Quatre têtes sont plus courantes car il existe de nombreuses façons de créer quatre têtes (TTHHTHTHH, ou HHTTHHTT, etc.) par rapport à un autre nombre (8 têtes n'ont qu'une séquence). Le théorème binomial donne le nombre de façons de réaliser ces différentes configurations.n - $k$$n-k$

• En revanche, l'ordre est important en bits, car chaque lieu est associé à un "poids" ou à une "valeur de lieu". Une propriété du coefficient binomial est que , c'est-à-dire que si nous comptons toutes les différentes séquences ordonnées, nous obtenons . Ceci relie directement l’idée du nombre de façons différentes de faire têtes dans essais binomiaux au nombre de séquences d’octets différentes.$2^n=\sum_{k=0}^n\binom{n}{k}$$2^8=256$$k$$n$

• De plus, nous pouvons montrer que les 256 résultats sont également probables par la propriété d’indépendance. Les essais précédents n’ont pas d’influence sur l’essai suivant. La probabilité d’un ordre particulier est donc généralement (car la probabilité conjointe d’événements indépendants est le produit de leurs probabilités). Parce que les essais sont équitables, , cette expression est réduite à . Comme tous les ordres ont la même probabilité, nous avons une distribution uniforme sur ces résultats (qui, par codage binaire, peut être représentée sous forme d’entiers dans ). P ( succès ) = P ( échec ) = p = 0,5 P ( ordre quelconque ) = 0,5 8 = $p^k(1-p)^{n-k}$$P(\text{success})=P(\text{fail})=p=0.5$ [0,255$P(\text{any ordering})=0.5^8=\frac{1}{256}$$[0,255]$

• Enfin, nous pouvons ramener ce cercle complet au tirage au sort et à la distribution binomiale. Nous savons que l'occurrence de 0 têtes n'a pas la même probabilité que 4 têtes, ce qui s'explique par le fait qu'il existe différentes manières d'ordonner les occurrences de 4 têtes et que le nombre de ces ordres est donné par le théorème binomial. Donc, doit être pondéré d’une manière ou d’une autre, en particulier il doit être pondéré par le coefficient binomial. Cela nous donne donc le PMF de la distribution binomiale, . Il peut être surprenant que cette expression soit un PMF, en particulier parce qu’il n’est pas immédiatement évident que sa somme soit égale à 1. Pour vérifier, nous devons vérifier queP ( k  succès ) = ($P(\text{4 heads})$Σ n k = 0 ($P(k \text{ successes})=\binom{n}{k}p^k(1-p)^{n-k}$1=1n=(p+1-p)n=∑ n k = 0 ($\sum_{k=0}^n \binom{n}{k}p^k(1-p)^{n-k}=1$Cependant, il ne s’agit que d’un problème de coefficients binomiaux: .$1=1^n=(p+1-p)^n=\sum_{k=0}^n \binom{n}{k}p^k(1-p)^{n-k}$

pourquoi une séquence de 8 zéros ou de 8 uns semble-t-elle être aussi probable qu'une séquence de 4 et 4, ou de 5 et 3, etc.

Le paradoxe apparent peut être résumé en deux propositions qui peuvent paraître contradictoires:

1. La séquence (huit zéros) est également probable que la séquence (quatre zéros, quatre uns). (En général, toutes les séquences ont la même probabilité, quel que soit le nombre de zéros / unités qu'elles ont.)s 2 : 01010101 2 $s_1: 00000000$$s_2: 01010101$$2^8$

2. L'événement " : la séquence avait quatre zéros " est plus probable (en effet, fois plus probable) que l'événement " : la séquence avait huit zéros ". 70 e $e_1$$70$$e_2$

Ces propositions sont toutes deux vraies. Parce que l'événement comprend de nombreuses séquences.$e_1$

Toutes les séquences ont la même probabilité = 1/256. Il est faux de penser que les séquences qui se rapprochent d'un nombre égal de 0 et de 1 sont plus probables au vu de l'interprétation de la question. Il devrait être clair que nous arrivons à 1/256 parce que nous supposons l' indépendance d'un procès à l'autre . C'est pourquoi nous multiplions les probabilités et le résultat d'un essai n'a aucune influence sur le suivant.2 $2^8$$2^8$

EXEMPLE avec 3 bits (souvent, un exemple est plus illustratif)

Je vais écrire les nombres naturels 0 à 7 comme:

• Un nombre en base 10
• Un nombre en base 2 (c'est-à-dire une séquence de bits)
• Une série de lancers de pièces impliquée par la représentation de la base 2 (1 désigne un retournement de têtes et 0 désigne un retournement de queues).

Choisir un nombre naturel compris entre 0 et 7 avec une probabilité égale revient à choisir l'une des séries de lancers de pièces à droite avec une probabilité égale.

Par conséquent, si vous choisissez un nombre dans la distribution uniforme sur les nombres entiers de 0 à 7, vous avez un chances de choisir 3 têtes,$\frac{1}{8}$ chances de choisir 2 têtes,$\frac{3}{8}$ chances de choisir 1 tête et$\frac{3}{8}$ chances de choisir 0 tête.$\frac{1}{8}$

La réponse de Sycorax est correcte, mais il semble que vous ne sachiez pas pourquoi. Lorsque vous retournez 8 pièces ou générez 8 bits aléatoires en tenant compte de l'ordre, votre résultat sera l'une des 256 possibilités également probables. Dans votre cas, chacun de ces 256 résultats possibles est mappé de manière unique sur un entier, vous obtenez ainsi une distribution uniforme comme résultat.

Si vous ne prenez pas en compte l'ordre, par exemple en considérant le nombre de têtes ou de queues que vous avez obtenu, il n'y a que 9 résultats possibles (0 têtes / 8 queues - 8 têtes / 0 queues), et ils ne sont plus aussi probables . La raison en est que sur les 256 résultats possibles, il y a 1 combinaison de retournements qui vous donne 8 têtes / 0 queues (HHHHHHHHH) et 8 combinaisons qui donnent 7 têtes / 1 queues (une queue dans chacune des 8 positions l’ordre), mais 8C4 = 70 façons d’avoir 4 têtes et 4 queues. Dans le cas de la pièce retournée, chacune de ces 70 combinaisons est mappée à 4 têtes / 4 queues, mais dans le problème du nombre binaire, chacune de ces 70 résultats mappe à un entier unique.

Le problème, reformulé, est le suivant: pourquoi le nombre de combinaisons de 8 chiffres binaires aléatoires est-il pris de 0 à 8 chiffres sélectionnés (par exemple, les 1) à un moment différent du nombre de permutations de 8 chiffres binaires aléatoires? Dans le présent contexte, le choix aléatoire de 0 et de 1 signifie que chaque chiffre est indépendant de tout autre, de sorte que les chiffres ne sont pas corrélés et que ; .$p(0)=p(1)=\frac{1}{2}$

La réponse est: il y a deux encodages différents; 1) codage sans perte de permutations et 2) codage avec perte de combinaisons.

Ad 1) pour coder sans perte les nombres de telle sorte que chaque séquence est unique , nous pouvons voir que le numéro comme un binaire entier , où X i sont les gauche à droite i t h chiffres dans le séquence binaire de 0 et 1 aléatoires. Cela rend chaque permutation unique, car chaque chiffre aléatoire est ensuite codé en position. Et le nombre total de permutations est alors 2 8 = $\sum_{i=1}^82^{i-1}{X_i}$${X_i}$$i^{th}$$2^8=256$. Ensuite, par coïncidence, vous pouvez traduire ces chiffres binaires en nombres de base 10 compris entre 0 et 255 sans perte d'unicité. Vous pouvez également réécrire ce nombre en utilisant tout autre codage sans perte (par exemple, données compressées sans perte, Hex, Octal). La question elle-même, cependant, est binaire. Chaque permutation est alors également probable car il n’ya alors qu’une façon de créer chaque séquence de codage unique, et nous avons supposé que l’apparition d’un 1 ou d’un 0 était également probable n'importe où dans cette chaîne, de sorte que chaque permutation était également probable.

$\sum_{i=1}^82^{0}{X_i}$$C(8,\sum_{i=1}^8{X_i})$$\sum_{i=1}^8{X_i}$$C(8,4)$

Remarque: à l'heure actuelle, la réponse ci-dessus est la seule à contenir une comparaison de calcul explicite des deux codages, et la seule qui mentionne même le concept de codage. Cela a pris un certain temps pour bien faire les choses, c'est pourquoi cette réponse a toujours été votée négativement. S'il y a des plaintes en suspens, laissez un commentaire.

Mise à jour: Depuis la dernière mise à jour, je suis ravi de constater que le concept d'encodage a commencé à faire son chemin dans les autres réponses. Pour montrer cela explicitement pour le problème actuel, j’attache le nombre de permutations codées avec perte dans chaque combinaison.

$C(8,n)-1$$n$$0$$69$$256-9=247$

J'aimerais développer un peu l'idée de la dépendance à l'ordre par rapport à l'indépendance.

Dans le problème du calcul du nombre attendu de têtes en retournant 8 pièces, nous additionnons les valeurs de 8 distributions identiques, chacune étant la distribution de Bernoulli [; B(1, 0.5) ;](en d'autres termes, une probabilité de 50% de 0, une probabilité de 50% de 1). La distribution de la somme est la distribution binomiale [; B(8, 0.5) ;], qui a la forme de bosse familière avec la plupart des probabilités centrées autour de 4.

Dans le problème du calcul de la valeur attendue d'un octet constitué de 8 bits aléatoires, chaque bit a une valeur différente qu'il contribue à l'octet. Nous additionnons donc les valeurs de 8 distributions différentes . Le premier est [; B(1, 0.5) ;], le deuxième est [; 2 B(1, 0.5) ;], le troisième est [; 4 B(1, 0.5) ;], ainsi de suite jusqu'au huitième qui est [; 128 B(1, 0.5) ;]. La distribution de cette somme est naturellement très différente de la première.

Si vous vouliez prouver que cette dernière distribution est uniforme, je pense que vous pouvez le faire de manière inductive - la distribution du bit le plus bas est uniforme avec une plage de 1 par hypothèse, vous voudrez donc montrer que si la distribution des [; n ;]bits le plus bas est uniforme avec une plage de [; 2^n - 1} ;]alors l’ajout du premier [; n+1 ;]bit rend la distribution des [; n + 1 ;]bits les plus bas uniforme avec une plage de [; 2^{n+1} - 1 ;], réalisant une preuve pour tous les positifs[; n ;]. Mais la manière intuitive est probablement le contraire. Si vous commencez par le bit haut et que vous choisissez les valeurs une par une jusqu'au bit le plus bas, chaque bit divise exactement l’espace des résultats possibles en deux, et chaque moitié est choisie avec une probabilité égale. En bas, chaque valeur individuelle doit avoir la même probabilité pour être choisie.

Si vous effectuez une recherche binaire en comparant chaque bit, vous avez besoin du même nombre d’étapes pour chaque nombre de 8 bits, de 0000 0000 à 1111 1111, qui ont tous deux une longueur de 8 bits. À chaque étape de la recherche binaire, les deux côtés ont 50% de chances de se produire. En fin de compte, chaque nombre ayant la même profondeur et les mêmes probabilités, sans véritable choix, chaque nombre doit avoir le même poids. Ainsi, la distribution doit être uniforme, même lorsque chaque mors est déterminé par des virements.

Cependant, le digitsum des nombres n’est pas uniforme et aurait une distribution égale à celle de lancer 8 pièces.

Il n'y a qu'une séquence avec huit zéros. Il y a soixante-dix séquences avec quatre zéros et quatre autres.

Par conséquent, alors que 0 a une probabilité de 0,39%, et 15 a également une probabilité de 0,39% et 23 [00010111] a une probabilité de 0,39%, etc., si vous additionnez les soixante-dix des probabilités de 0,39%. vous obtenez 27,3%, ce qui correspond à la probabilité d'avoir quatre unités. La probabilité de chaque résultat individuel de quatre et quatre ne doit pas nécessairement être supérieure à 0,39% pour que cela fonctionne.

Considérez les dés

Pensez à lancer deux dés, un exemple courant de distribution non uniforme. Par souci de mathématiques, imaginez les dés sont numérotés de 0 à 5 au lieu de 1 à 6. traditionnelle La raison pour laquelle la distribution est pas uniforme que vous regardez la somme des jets de dés, où de multiples combinaisons peuvent donner la même total comme {5, 0}, {0, 5}, {4, 1}, etc., générant tous 5.

$6^1$$6^0$$6^0$

Comme le soulignent @Sycorax et @Blacksteel, cette différence se résume vraiment à la question de l'ordre.

Chaque bit que vous choisissez est indépendant l'un de l'autre. Si vous considérez pour le premier bit il y a un

• 50% de probabilité que ce soit 1

et

• 50% de probabilité qu'il s'agisse de 0.

$(\frac{1}{2})^8$$\frac{1}{256}$