Sélection d'entités sur un modèle linéaire généralisé hiérarchique bayésien

8

Je cherche à estimer un GLM hiérarchique mais avec une sélection de caractéristiques pour déterminer quelles covariables sont pertinentes au niveau de la population à inclure.

Supposons que j'ai $G$ groupes avec $N$ observations et $K$ covariables possibles C'est-à-dire que j'ai une matrice de conception de covariables , résultats . Les coefficients de ces covariables sont . $\boldsymbol{x}_{(N\cdot G) \times K}$ $\boldsymbol{y}_{(N\cdot G) \times 1}$ $\beta_{K \times 1}$

Supposons que ~ $Y$ $Bernoulli(p(x,\beta))$

Ce qui suit est un GLM bayésien hiérarchique standard avec un modèle d'échantillonnage logit et des coefficients de groupe normalement distribués.

L (y | x, β_{1}, . . . β_{G}) \propto \prod_{g = 1}^{G} \prod_{t = 1}^{N} {(Pr {j = 1 | p_{t}, β^{g}})}^{y_{g, t}} {(1 - Pr {j = 1 | p_{t}, β^{g}})}^{1 - y_{g, t}}

${\cal L}\left(\boldsymbol{y}|\boldsymbol{x},\beta_{1},...\beta_{G}\right)\propto\prod_{g=1}^{G}\prod_{t=1}^{N}\left(\Pr\{j=1|p_{t},\beta^{g}\}\right)^{y_{g,t}}\left(1-\Pr\{j=1|p_{t},\beta^{g}\}\right)^{1-y_{g,t}}$

β_{1}, . . . β_{G} | μ, Σ \sim^{i i d} N_{d} (μ, Σ)

$\beta_{1},...\beta_{G}|\mu,\Sigma\sim^{iid}{\cal N}_{d}\left(\mu,\Sigma\right)$

μ | Σ \sim N (μ_{0}, a^{- 1} Σ)

$\mu|\Sigma\sim{\cal N}\left(\mu_{0},a^{-1}\Sigma\right)$

Σ \sim I W (v_{0}, V_{0}^{- 1})

$\Sigma\sim{\cal IW}\left(v_{0},V_{0}^{-1}\right)$

Je veux modifier ce modèle (ou trouver un article qui le fait ou un travail qui en discute) de telle sorte qu'il y ait une sélection de fonctionnalités précise (comme dans LASSO) sur la dimensionnalité de $\beta$ .

(1) Le moyen le plus simple et le plus direct serait de régulariser cela au niveau de la population afin que nous restreignions essentiellement la dimensionnalité de et que tous les aient la même dimension. $\mu$ $\beta$

(2) Le modèle plus nuancé aurait un rétrécissement au niveau du groupe, où la dimension de dépend de l'unité hiérarchique. $\beta$

Je suis intéressé par la résolution de 1 et 2, mais le plus important est 1.

— Wolfsatthedoor
source

1

La façon dont j'aborderais (1) impliquerait un modèle de pointe et de dalle quelque chose comme:

$\beta_{g,k} = z_{k}m_{g,k}$

$z_k \sim Bern(p)$

$m_{g,k} \sim N(\mu, \Sigma)$

$\mu, \Sigma \sim NIW_{v_0}(\mu_0, V_0^{-1})$

Cette:

Conserve la flexibilité sur les de NIW avant . $\beta$ $\mu, \Sigma$
Modélise la sélection de variables pour tous les groupes à la fois.
Facilement extensible en ajoutant un sous-index pour le groupe à et en ayant une bêta commune avant pour chaque emplacement . $z_{g,k}$ $k$

Bien sûr, je pense que c'est le genre de problème où il existe un certain nombre d'approches valables.

— conjectures
source

2

La sélection des fonctionnalités n'est pas un grand objectif à avoir dans une analyse. À moins que tous les prédicteurs ne soient pas corrélés les uns avec les autres et que la taille de votre échantillon soit immense, les données ne pourront pas vous donner de réponse fiable. La spécification du modèle est plus importante que la sélection du modèle. Les détails sont dans mes notes de cours RMS . Mais le retrait, sans sélection de caractéristiques (par exemple, crête ou estimation de maximum de vraisemblance pénalisée ) peut être une bonne idée. Les modèles hiérarchiques bayésiens sont encore meilleurs car ils permettent une inférence statistique dans le modèle rétréci alors que nous perdons la plupart des outils inférentiels dans le monde fréquentiste après rétrécissement. $L_{2}$

— Frank Harrell
source