Quand les méthodes bayésiennes sont-elles préférables au Frequentist?


18

Je veux vraiment en savoir plus sur les techniques bayésiennes, j'ai donc essayé de m'enseigner un peu. Cependant, j'ai du mal à voir que l'utilisation de techniques bayésiennes confère un avantage sur les méthodes fréquentistes. Par exemple: j'ai vu dans la littérature un peu comment certains utilisent des prieurs informatifs tandis que d'autres utilisent des priodes non informatifs. Mais si vous utilisez un a priori non informatif (ce qui semble vraiment commun?) Et que vous trouvez que la distribution postérieure est, disons, une distribution bêta ... ne pourriez-vous pas avoir simplement adapté une distribution bêta au début et appelée c'est bon? Je ne vois pas comment la construction d'une distribution antérieure qui ne vous dit rien ... peut vraiment vous dire quoi que ce soit?

Il s'avère que certaines méthodes que j'ai utilisées dans R utilisent un mélange de méthodes bayésiennes et fréquemmentistes (les auteurs reconnaissent que cela est quelque peu incohérent) et je ne peux même pas discerner quelles parties sont bayésiennes. Mis à part l'ajustement de la distribution, je ne peux même pas comprendre comment vous utiliseriez les méthodes bayésiennes. Existe-t-il une "régression bayésienne"? À quoi cela ressemblerait-il? Tout ce que je peux imaginer est de deviner la distribution sous-jacente encore et encore pendant que le Frequentist réfléchit aux données, les regarde, voit une distribution de Poisson et exécute un GLM. (Ce n'est pas une critique ... je ne comprends vraiment pas!)

Alors ... peut-être que quelques exemples élémentaires pourraient aider? Et si vous connaissez des références pratiques pour de vrais débutants comme moi, ce serait aussi très utile!


Copie possible de ceci ?
Glen_b -Reinstate Monica

Euh, on dirait? Je vous souhaite la bienvenue, car cela répond presque à ma question. Je m'interroge toujours sur les situations plus simples que j'ai décrites (puisque je n'ai jamais entendu parler des techniques répertoriées sur ce fil), mais je suppose que ma réponse est que les gens N'utilisent PAS de techniques bayésiennes pour la régression / etc parce qu'il existe des techniques fréquentistes établies et faciles?
HFBrowning

2
Les gens n'utilisent des techniques de régression bayésiens. Mais parce que les méthodes fréquentistes sont très pratiques et que beaucoup de gens sont pragmatiques quant à l'approche qu'ils utilisent, il arrive souvent que les personnes qui sont heureuses d'utiliser l'une ou l'autre utilisent une régression ordinaire s'il n'y a pas besoin de quelque chose de plus compliqué. Mais dès que vous avez besoin de faire face à un peu plus de complexité, ou d'incorporer formellement des informations préalables, ou un certain nombre d'autres raisons, le travail supplémentaire modeste dans les approches bayésiennes commence à bien paraître.
Glen_b -Reinstate Monica

Cela a du sens, merci. La lecture de certains des autres fils a également clarifié les utilisations pour moi.
HFBrowning

Quelque chose d'autre qui est pertinent .. pour la régression dans un cadre bayésien, les priors les plus utilisés pour les coefficients sont le Normal multivarié et le Laplace multivarié. L'utilisation de ces antérieurs revient à appliquer des pénalités de retrait sur les coefficients, ce qui les rend équivalents à l'utilisation de la régression de crête ou du LASSO, respectivement, si l'on devait prendre l'estimation MAP des coefficients après un algorithme bayésien. Il est beaucoup plus économique de calculer ces résultats d'une manière qui n'est pas entièrement bayésienne, et s'ils sont fondamentalement équivalents ... pourquoi s'embêter?

Réponses:


11

Voici quelques liens qui pourraient vous intéresser en comparant les méthodes fréquentistes et bayésiennes:

En un mot, la façon dont je l'ai compris, étant donné un ensemble spécifique de données, le fréquentiste estime qu'il existe une véritable distribution sous-jacente à partir de laquelle ces données ont été générées. L'incapacité à obtenir les paramètres exacts est fonction de la taille de l'échantillon fini. Les bayésiens, en revanche, pensent que nous partons d'une hypothèse sur les paramètres (même sans le savoir) et utilisons les données pour affiner notre opinion sur ces paramètres. Tous deux tentent de développer un modèle qui peut expliquer les observations et faire des prédictions; la différence réside dans les hypothèses (à la fois réelles et philosophiques). En tant que déclaration concise et non rigoureuse, on peut dire que le fréquentiste croit que les paramètres sont fixes et que les données sont aléatoires; le bayésien pense que les données sont fixes et les paramètres aléatoires. Qu'est-ce qui est mieux ou préférable? Pour répondre à cela, vous devez creuser et réaliser justequelles hypothèses chacune implique (par exemple, les paramètres sont-ils asymptotiquement normaux?).


2
Beaucoup de réponses intéressantes et intéressantes, mais cela a répondu le plus directement à mes questions. Merci
HFBrowning

@Avraham le premier lien est rompu
Erik Hambardzumyan

1
@ErikHambardzumyan Merci. Trouvé une version enregistrée sur la machine de retour.
Avraham

10

L'un des nombreux aspects intéressants des contrastes entre les deux approches est qu'il est très difficile d'avoir une interprétation formelle pour de nombreuses quantités que nous obtenons dans le domaine fréquentiste. Un exemple est l'importance sans cesse croissante des méthodes de pénalisation (retrait). Lorsqu'on obtient des estimations du maximum de vraisemblance pénalisées, les estimations ponctuelles biaisées et les «intervalles de confiance» sont très difficiles à interpréter. En revanche, la distribution bayésienne postérieure des paramètres pénalisés vers zéro en utilisant une distribution antérieure concentrée autour de zéro a des interprétations tout à fait standard.


1
C'est un bon point. Je me demande si c'est principalement vrai lorsque lambda est sélectionné a priori. Souvent, on peut sélectionner lambda en utilisant la validation croisée pour optimiser l'erreur de prédiction hors échantillon. Dans ce cas, il me semble étrange de dire que le lambda est équivalent aux «informations préalables» que vous avez apportées à l'analyse.
gung - Rétablir Monica

1
λ=σ2λ

3
Je dirais que Lambda était un hyper-paramètre de l'a priori (pour lequel étant plus bayésien, vous pourriez avoir un hyper-a priori et le marginaliser également jmlr.org/papers/volume8/cawley07a/cawley07a.pdf )
Dikran Marsupial

5

Je vole ce gros du groupe d'utilisateurs Stan. Michael Betancourt a fourni cette très bonne discussion sur l'identifiabilité dans l'inférence bayésienne, qui, je crois, porte sur votre demande de contraste entre les deux écoles de statistique.

La première différence avec une analyse bayésienne sera la présence de prieurs qui, même faibles, contraindront la masse postérieure de ces 4 paramètres dans un voisinage fini (sinon vous n'auriez pas eu de préalable valide en premier lieu). Malgré cela, vous pouvez toujours avoir une non-identifiabilité dans le sens où le postérieur ne convergera pas vers une masse ponctuelle à la limite des données infinies. Dans un sens très réel, cependant, cela n'a pas d'importance car (a) la limite de données infinie n'est pas réelle de toute façon et (b) l'inférence bayésienne ne rapporte pas d'estimations ponctuelles mais plutôt des distributions. En pratique, une telle non-identifiabilité entraînera de grandes corrélations entre les paramètres (peut-être même une non-convexité) mais une analyse bayésienne appropriée identifiera ces corrélations. Même si vous signalez des marginaux à paramètre unique, vous '

μ1μ2N(x|μ1+μ2,σ)μ1+μ2=0μ1μ2

μ1μ2μ1μ2


3

La principale différence entre les approches bayésienne et fréquentiste réside dans la définition d'une probabilité, donc s'il est nécessaire de traiter les probabilités strictement comme une fréquence à long terme, les approches fréquentistes sont raisonnables, si ce n'est pas le cas, vous devez utiliser une approche bayésienne. Si l'une ou l'autre interprétation est acceptable, alors les approches bayésienne et fréquentiste sont probablement raisonnables.

Une autre façon de le dire est que si vous voulez savoir quelles inférences vous pouvez tirer d'une expérience particulière, vous voulez probablement être bayésien; si vous voulez tirer des conclusions sur une population d'expériences (par exemple le contrôle de la qualité), les méthodes fréquentistes sont bien adaptées.

Essentiellement, l'important est de savoir à quelle question vous voulez répondre et de choisir la forme d'analyse qui répond le plus directement à la question.

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.