Quelles sont les utilisations importantes de la génération de nombres aléatoires dans les statistiques de calcul?

Comment et pourquoi les générateurs de nombres aléatoires (RNG) sont-ils importants dans les statistiques de calcul?

Je comprends que le caractère aléatoire est important lors du choix des échantillons pour de nombreux tests statistiques afin d'éviter tout biais vers l'une ou l'autre hypothèse, mais y a-t-il d'autres domaines des statistiques de calcul où les générateurs de nombres aléatoires sont importants?

Il existe de très nombreux exemples. Beaucoup trop pour être énumérés, et probablement trop pour que quiconque sache complètement (à part peut-être @whuber, qui ne devrait jamais être sous-estimé).

Comme vous le mentionnez, dans les expériences contrôlées, nous évitons les biais d'échantillonnage en répartissant au hasard les sujets en groupes de traitement et de contrôle.

Dans le bootstrap, nous approchons l'échantillonnage répété d'une population par échantillonnage aléatoire avec remplacement à partir d'un échantillon fixe. Cela nous permet entre autres d'estimer la variance de nos estimations.

Dans la validation croisée, nous estimons l'erreur hors échantillon d'une estimation en partitionnant nos données au hasard en tranches et en assemblant des ensembles d'apprentissage et de test aléatoires.

Dans les tests de permutation, nous utilisons des permutations aléatoires pour échantillonner sous l'hypothèse nulle, ce qui permet d'effectuer des tests d'hypothèse non paramétriques dans une grande variété de situations.

Dans l' ensachage, nous contrôlons la variance d'une estimation en effectuant à plusieurs reprises une estimation sur des échantillons bootstrap de données d'entraînement, puis en faisant la moyenne des résultats.

Dans les forêts aléatoires, nous contrôlons en outre la variance d'une estimation en échantillonnant également au hasard à partir des prédicteurs disponibles à chaque point de décision.

En simulation, nous demandons à un modèle d'ajustement de générer aléatoirement de nouveaux ensembles de données que nous pouvons comparer à des données de formation ou de test, aidant à valider l'ajustement et les hypothèses dans un modèle.

Dans la chaîne de Markov Monte Carlo, nous échantillonnons à partir d'une distribution en explorant l'espace des résultats possibles à l'aide d'une chaîne de Markov (merci à @Ben Bolker pour cet exemple).

Ce ne sont que les applications courantes et courantes qui viennent immédiatement à l'esprit. Si je creusais profondément, je pourrais probablement doubler la longueur de cette liste. L'aléatoire est à la fois un objet d'étude important et un outil important à manier.

Tout cela est vrai, mais ne résout pas le problème principal: un PRNG avec toute sorte de structure résultante ou de prévisibilité dans la séquence entraînera l'échec des simulations. Carl Witthoft 31 janvier à 15:51

Si cela vous préoccupe, le titre de la question devrait peut-être être remplacé par «Impact du choix du GNR sur les résultats de Monte-Carlo» ou quelque chose du genre. Dans ce cas, déjà pris en compte sur la validation croisée SE , voici quelques directions

• Si vous envisagez des RNG mal conçus comme le fameux RANDU, ils auront clairement un impact négatif sur l'approximation de Monte Carlo. Pour repérer les carences des RNG, il existe des banques de références comme les tests Diehard de Marsaglia . (Par exemple, Park et Miller (1988) ont constaté que le générateur congruentiel de Lehmer avec le facteur 16807 manquait , pour être remplacé par 47271 ou 69621. Bien sûr, cela a été remplacé par des générateurs de période massive comme le Mersenne Twister PRNG .)
• Une question SE sur les mathématiques fournit un lien sur l'impact (ou son absence) sur l'estimation et la précision, sinon une réponse très utile.
• Jeff Rosenthal (U Toronto) a un article où il étudie l'impact sur un RNG sur la convergence des chaînes de Markov (Monte Carlo) mais je ne le trouve pas. J'ai récemment mené une petite expérience sur mon blog sans impact visible du type RNG.
  • Soit dit en passant, un système de loterie en Ontario a utilisé une génération aléatoire mal conçue, qui a été repérée par un statisticien, Mohan Srivastava de Toronto, Canada, qui a avisé la Société des loteries et des jeux de l'Ontario du problème, plutôt que d'en tirer un profit considérable. échappatoire.
• Voici une illustration d'un cas où un simulateur de réseau classique est impacté par un mauvais choix par défaut (lié à Park et Miller ci-dessus).
• Il existe des problèmes spécifiques avec la structure des RNG utilisés dans le calcul parallèle . L'utilisation de plusieurs graines n'est généralement pas suffisante, en particulier pour les générateurs congruentiels linéaires. De nombreuses approches peuvent être trouvées dans la littérature informatique, y compris les packages évolutifs de génération de nombres aléatoires parallèles (SPRNG) de Michael Mascagni (y compris une version R) et le créateur dynamique de Matsumoto , un programme C qui fournit des valeurs de départ pour des flux indépendants lors de l'utilisation du twister Mersenne . Ce problème a également été résolu lors du débordement de la pile SE .
• L'année dernière, j'ai vu une conférence de Paula Whitlock sur l'impact de la bibliothèque scientifique GNU sur la convergence des marches aléatoires de haute dimension, mais je ne peux pas.
• Pour finir sur une note légère, il existe également de la littérature sur la distinction entre les RNG logiciels et matériels, avec des affirmations selon lesquelles les médiums peuvent avoir un impact plus tard !