Existe-t-il une approche bayésienne de l'estimation de la densité

Je suis intéressé à estimer la densité d'une variable aléatoire continue . Une façon de le faire que j'ai apprise est l'utilisation de l'estimation de la densité du noyau.$X$

Mais maintenant je m'intéresse à une approche bayésienne qui va dans le sens suivant. Je crois d' abord que suit une distribution . Je prends lectures de . Existe-t-il une approche pour mettre à jour fonction de mes nouvelles lectures?$X$$F$$n$$X$$F$

Je sais que j'ai l'impression de me contredire: si je crois uniquement en comme ma distribution antérieure, alors aucune donnée ne devrait me convaincre du contraire. Cependant, supposons que était et mes points de données étaient comme . En voyant , je ne peux évidemment pas m'en tenir à mon précédent, mais comment dois-je le mettre à jour?$F$$F$$Unif[0,1]$$(0.3, 0.5, 0.9, 1.7)$$1.7$

Mise à jour: Sur la base des suggestions dans les commentaires, j'ai commencé à regarder le processus Dirichlet. Permettez-moi d'utiliser les notations suivantes:

$G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2)$

Après avoir cadré mon problème d'origine dans cette langue, je suppose que je suis intéressé par ce qui suit: . Comment est-que quelqu'un peut faire ça?$\theta_{n+1} | x_1,...,x_n$

Dans cet ensemble de notes (page 2), l'auteur a fait un exemple de (Schéma d'urne Polya). Je ne sais pas si cela est pertinent.$\theta_{n+1} | \theta_1,...,\theta_n$

Mise à jour 2: Je souhaite également demander (après avoir vu les notes): comment les gens choisissent-ils pour le DP? Cela semble être un choix aléatoire. De plus, comment les gens choisissent-ils un antérieur pour le DP? Dois-je simplement utiliser un a priori pour comme mon a priori pour ?H θ $\alpha$$H$$\theta$$H$

Puisque vous voulez une approche bayésienne, vous devez supposer une connaissance préalable de la chose que vous souhaitez estimer. Ce sera sous la forme d'une distribution.

Maintenant, il y a le problème que c'est maintenant une distribution sur les distributions. Cependant, cela ne pose aucun problème si vous supposez que les distributions candidates proviennent d'une classe de distributions paramétrée.

Par exemple, si vous voulez supposer que les données sont de distribution gaussienne avec une moyenne inconnue mais une variance connue, alors tout ce dont vous avez besoin est un prior sur la moyenne.

L'estimation MAP du paramètre inconnu (appelons-le ) pourrait procéder en supposant que tous les points d'observation / de données sont conditionnellement indépendants étant donné le paramètre inconnu. Ensuite, l'estimation MAP est$\theta$

$\hat{\theta} = \arg \max_\theta ( \text{Pr}[x_1,x_2,...,x_n,\theta] )$

où

$\text{Pr}[x_1,x_2,...,x_n,\theta] = \text{Pr}[x_1,x_2,...,x_n | \theta] \text{Pr}[\theta] = \text{Pr}[\theta] \prod_{i=1}^n \text{Pr}[x_i | \theta]$ .

Il convient de noter qu'il existe des combinaisons particulières de la probabilité antérieure et des distributions candidates qui donnent lieu à des mises à jour faciles (sous forme fermée) à mesure que davantage de points de données sont reçus.Pr [ x | θ $\text{Pr}[\theta]$$\text{Pr}[x | \theta]$

Aux fins d'estimation de la densité, ce dont vous avez besoin n'est pas

$\theta_{n+1}|x_{1},\ldots,x_{n}$ .

La formule dans les notes renvoie à la distribution prédictive du processus de Dirichlet.$\theta_{n+1}|\theta_{1},\ldots,\theta_{n}$

Pour l'estimation de la densité, vous devez réellement échantillonner à partir de la distribution prédictive

L'échantillonnage à partir de la distribution ci-dessus peut être effectué soit avec des méthodes conditionnelles soit avec des méthodes marginales. Pour les méthodes conditionnelles, jetez un œil à l'article de Stephen Walker [1]. Pour les méthodes marginales, vous devriez vérifier sur le papier Radford Neal [2].

Pour le paramètre de concentration Mike West [3] propose une méthode d'inférence dans la procédure MCMC comprenant une distribution conditionnelle complète pour . Si vous décidez de ne pas mettre à jour la concentration dans la procédure MCMC, vous devez garder à l'esprit que si vous choisissez une valeur élevée pour celle-ci, le nombre de valeurs distinctes tirées du processus Dirichlet sera supérieur au nombre de valeurs distinctes. quand un petit nombre pour sera utilisé.$\alpha$$\alpha$$\alpha$$\alpha$

[1] SG, Walker (2006). Échantillonnage du modèle Dirichlet Mixture avec des tranches. Communications en statistique (simulation et calcul).

[2] RM, Neal (2000) Méthodes Markov Chain Monte Carlo pour les modèles Dirichlet Process Mixture. Journal of Computational and Graphical Statistics. Vol 9, no 2, pp 249-265

[3] M., West (1992). Estimation hyperparamétrique dans les modèles de mélange de processus de Dirichlet. Rapport technique

Existe-t-il une approche pour mettre à jour F en fonction de mes nouvelles lectures?

Il y a quelque chose précisément pour ça. C'est à peu près l'idée principale de l'inférence bayésienne.

$p(\theta | y) \propto p(y|\theta)p(\theta)$

Le est votre avant, ce que vous appelez . Le est ce que les Bayésiens appellent la "vraisemblance" et c'est la probabilité d'observer vos données étant donné une certaine valeur de thêta. Il vous suffit de les multiplier et d'obtenir ce que l'on appelle une distribution "postérieure" de . Ceci est votre "F mis à jour". Consultez le chapitre 1 de tout livre d'introduction aux statistiques bayésiennes.F p ( y | θ ) $p(\theta)$$F$$p(y|\theta)$$\theta$

Vous n'avez pas à vous débarrasser de (votre précédent), il vous suffit de réaliser que ce n'est plus votre meilleure estimation, maintenant que vous avez des données pour l'affiner.$p(\theta)$