Quand les méthodes bayésiennes sont-elles préférables au Frequentist?

Je veux vraiment en savoir plus sur les techniques bayésiennes, j'ai donc essayé de m'enseigner un peu. Cependant, j'ai du mal à voir que l'utilisation de techniques bayésiennes confère un avantage sur les méthodes fréquentistes. Par exemple: j'ai vu dans la littérature un peu comment certains utilisent des prieurs informatifs tandis que d'autres utilisent des priodes non informatifs. Mais si vous utilisez un a priori non informatif (ce qui semble vraiment commun?) Et que vous trouvez que la distribution postérieure est, disons, une distribution bêta ... ne pourriez-vous pas avoir simplement adapté une distribution bêta au début et appelée c'est bon? Je ne vois pas comment la construction d'une distribution antérieure qui ne vous dit rien ... peut vraiment vous dire quoi que ce soit?

Il s'avère que certaines méthodes que j'ai utilisées dans R utilisent un mélange de méthodes bayésiennes et fréquemmentistes (les auteurs reconnaissent que cela est quelque peu incohérent) et je ne peux même pas discerner quelles parties sont bayésiennes. Mis à part l'ajustement de la distribution, je ne peux même pas comprendre comment vous utiliseriez les méthodes bayésiennes. Existe-t-il une "régression bayésienne"? À quoi cela ressemblerait-il? Tout ce que je peux imaginer est de deviner la distribution sous-jacente encore et encore pendant que le Frequentist réfléchit aux données, les regarde, voit une distribution de Poisson et exécute un GLM. (Ce n'est pas une critique ... je ne comprends vraiment pas!)

Alors ... peut-être que quelques exemples élémentaires pourraient aider? Et si vous connaissez des références pratiques pour de vrais débutants comme moi, ce serait aussi très utile!

Voici quelques liens qui pourraient vous intéresser en comparant les méthodes fréquentistes et bayésiennes:

• http://www.stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
  • Archivé ici: https://web.archive.org/web/20140308021414/https://stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
• http://www.bayesian-inference.com/advantagesbayesian
• http://www.researchgate.net/post/Bayesian_vs_frequentist_statistics2

En un mot, la façon dont je l'ai compris, étant donné un ensemble spécifique de données, le fréquentiste estime qu'il existe une véritable distribution sous-jacente à partir de laquelle ces données ont été générées. L'incapacité à obtenir les paramètres exacts est fonction de la taille de l'échantillon fini. Les bayésiens, en revanche, pensent que nous partons d'une hypothèse sur les paramètres (même sans le savoir) et utilisons les données pour affiner notre opinion sur ces paramètres. Tous deux tentent de développer un modèle qui peut expliquer les observations et faire des prédictions; la différence réside dans les hypothèses (à la fois réelles et philosophiques). En tant que déclaration concise et non rigoureuse, on peut dire que le fréquentiste croit que les paramètres sont fixes et que les données sont aléatoires; le bayésien pense que les données sont fixes et les paramètres aléatoires. Qu'est-ce qui est mieux ou préférable? Pour répondre à cela, vous devez creuser et réaliser justequelles hypothèses chacune implique (par exemple, les paramètres sont-ils asymptotiquement normaux?).

L'un des nombreux aspects intéressants des contrastes entre les deux approches est qu'il est très difficile d'avoir une interprétation formelle pour de nombreuses quantités que nous obtenons dans le domaine fréquentiste. Un exemple est l'importance sans cesse croissante des méthodes de pénalisation (retrait). Lorsqu'on obtient des estimations du maximum de vraisemblance pénalisées, les estimations ponctuelles biaisées et les «intervalles de confiance» sont très difficiles à interpréter. En revanche, la distribution bayésienne postérieure des paramètres pénalisés vers zéro en utilisant une distribution antérieure concentrée autour de zéro a des interprétations tout à fait standard.

Je vole ce gros du groupe d'utilisateurs Stan. Michael Betancourt a fourni cette très bonne discussion sur l'identifiabilité dans l'inférence bayésienne, qui, je crois, porte sur votre demande de contraste entre les deux écoles de statistique.

La première différence avec une analyse bayésienne sera la présence de prieurs qui, même faibles, contraindront la masse postérieure de ces 4 paramètres dans un voisinage fini (sinon vous n'auriez pas eu de préalable valide en premier lieu). Malgré cela, vous pouvez toujours avoir une non-identifiabilité dans le sens où le postérieur ne convergera pas vers une masse ponctuelle à la limite des données infinies. Dans un sens très réel, cependant, cela n'a pas d'importance car (a) la limite de données infinie n'est pas réelle de toute façon et (b) l'inférence bayésienne ne rapporte pas d'estimations ponctuelles mais plutôt des distributions. En pratique, une telle non-identifiabilité entraînera de grandes corrélations entre les paramètres (peut-être même une non-convexité) mais une analyse bayésienne appropriée identifiera ces corrélations. Même si vous signalez des marginaux à paramètre unique, vous '

$\mu_1$$\mu_2$$\mathcal{N}(x | \mu_1 + \mu_2, \sigma)$$\mu_1 + \mu_2 = 0$$\mu_1$$\mu_2$

$\mu_1$$\mu_2$$\mu_1$$\mu_2$

La principale différence entre les approches bayésienne et fréquentiste réside dans la définition d'une probabilité, donc s'il est nécessaire de traiter les probabilités strictement comme une fréquence à long terme, les approches fréquentistes sont raisonnables, si ce n'est pas le cas, vous devez utiliser une approche bayésienne. Si l'une ou l'autre interprétation est acceptable, alors les approches bayésienne et fréquentiste sont probablement raisonnables.

Une autre façon de le dire est que si vous voulez savoir quelles inférences vous pouvez tirer d'une expérience particulière, vous voulez probablement être bayésien; si vous voulez tirer des conclusions sur une population d'expériences (par exemple le contrôle de la qualité), les méthodes fréquentistes sont bien adaptées.

Essentiellement, l'important est de savoir à quelle question vous voulez répondre et de choisir la forme d'analyse qui répond le plus directement à la question.