Calcul des poids de probabilité inverses - estimation conditionnelle (multivariée) de la densité?

La version générale:

J'ai besoin d'estimer où et sont continus et multivariés. Je préfère le faire de manière non paramétrique, car je n'ai pas une bonne forme fonctionnelle en tête et doit être quelque chose comme impartial. Je voulais utiliser un estimateur conditionnel de densité du noyau, mais je me suis aperçu que je aurais besoin quantiser d' abord. Ensuite, j'ai eu l'idée d'estimer et partir des données et de l'utiliser pour calculer , ou peut-être que je l'ai lu quelque part et ne me souviens pas où. $f(A | X)$ $A$ $X$ $\hat{f}(A | X)$ $X$ $\hat{f}(A , X)$ $\hat{f}(X)$ $\hat{f}(A | X)$

Y a-t-il une raison pour laquelle cette procédure ne serait pas valide? Existe-t-il une approche meilleure ou plus honnête que la densité du noyau? De plus, y a-t-il un problème avec l'estimation non-paramétrique des densités de population à partir des densités d'échantillonnage? Les données sont des données d'enquête, et j'ai des poids d'enquête; dois-je les intégrer d'une manière ou d'une autre?

La version spécifique au cas:

Il convient probablement de mentionner que je vais utiliser ces estimations pour les poids de probabilité inverse de traitement dans un modèle structurel marginal, comme dans Robins (2000) ( PDF non fermé ). J'observe une séquence de "traitements" et une séquence de facteurs de confusion variant dans le temps par rapport à certains résultat qui se produit à . J'ai émis l'hypothèse d'une relation causale paramétrique simple, , mais comme il y a un facteur de confusion variant dans le temps $\{a_t\}_{t=0}^{4}$ $\{x_t\}_{t=0}^{4}$ $\tilde{y}$ $t=T+1$ $E[\tilde{Y} | \vec{a}]=\beta'\vec{a}$ $\beta$ est une estimation biaisée de l '"effet de traitement moyen", et le facteur de confusion ne peut pas être ajouté en tant que régresseur, car il est sur le chemin causal et cela biaisera également . Heureusement, Doc Robins a compris que je pouvais obtenir des estimations impartiales / non fondées et raisonnablement efficaces si je repondais mes observations par: $\beta$

w_{je} = \prod_{s = 0}^{4} \frac{F ({une}_{s} | {une}_{s < t})}{F ({une}_{s} | {une}_{s < t}, X_{s < t})}

$w_i = \prod_{s=0}^{4} \frac{ f(a_s | a_{s<t}) }{ f(a_s | a_{s<t},x_{s<t}) }$

Ma question: cette séquence de poids est vraiment ce pour quoi j'ai besoin d'une estimation. Robins recommande une régression logistique. Mais réside dans , est mesuré sur , et à toutes fins pratiques réside dans un sous-ensemble fini de celui-ci. réside dans un intervalle fermé, mais uniquement parce que c'est vraiment la moyenne de quelques variables, chacune mesurée sur un sous-ensemble fini de . $a_t$ $[0,\infty)^7$ $\{0,\dots\}^{7}$ $x_t$ $\{0,\dots,12\}$

J'ai donc eu quelques idées:

Estimer et non paramétrique $f(a_t, a_{s<t}, x_{s<t})$ $f(x,a_{s<t})$
Estimer avec régression bêta et non paramétrique $f(a_t | a_{s<t}, x_{s<t})$ $f( x_{s<t}, a_{s<t})$
Estimer avec une régression bêta, et estimer ) en "enchaînant" les régressions bêta dans le temps pour exprimer le tout comme conditionnel. $f(x_{t-1}|a_t,a_{s<t},x_{s<(t-1)})$ $f(a_t, a_{s<t},x_{s<(t-1)})$
Quelque chose de réellement cohérent et honnête dans la propagation de l'incertitude, auquel je n'ai évidemment pas pensé.
Bayes? Je connais Stan et JAGS, mais MCMC va probablement exploser mon ordinateur (je ne veux pas traiter avec EC2).

Je n'ai trouvé aucun indice dans la littérature, car les traitements multivariés sont rares dans la modélisation causale. Que devrais-je faire?

Points bonus: que pensez-vous de la notation pour représenter au lieu de quelque chose comme ? $a_{s<t}$ $\{a_s\}_{s=0}^{t}$ $\vec{a}_{t-1}$

— shadowtalker
source

L'idée de base

Selon Chen, Linton et Robinson (2001) , la technique "par défaut" pour l'estimation conditionnelle de densité de noyau univariée consiste à trouver, pour les bandes passantes , $a,b,c$

\frac{{\hat{F}}_{une b} (y, z)}{{\hat{F}}_{c} (z)} = {\hat{F}}_{une b c} (y | z)

$\frac{\hat{f}_{ab}(y,z)}{\hat{f}_c(z)}=\hat{f}_{abc}(y|z)$

Ensuite, avec la bande passante du numérateur et la bande passante du dénominateur et , le résultat de la limite centrale suivante tient sous certaines hypothèses d'indépendance et de cohérence (qui ne sont vraiment restrictives que lorsque ): $(a,b)$ $c$ $a=b=c$ $y=x_t,z=x_{t-1}$

\sqrt{n {une}^{2}} ({\hat{F}}_{une b c = une une une} (y | z) - F (y | z)) \overset{ré}{\to} N (0, V)

$\sqrt{na^2}\left(\hat{f}_{abc=aaa}(y|z)-f(y|z)\right)\xrightarrow{d}N(0,V)$

où

\begin{aligned} \hat{V} & = {(\int K (u)^{2} ré u)}^{2} \cdot \frac{{\hat{F}}_{une une une} (y | z)}{{\hat{F}}_{une} (z)} \\ = {(\int K (u)^{2} ré u)}^{2} \cdot {\hat{F}}_{une une} (y, z) \end{aligned}

$\begin{align} \hat{V}&=\left(\int K(u)^2du\right)^2\cdot\frac{\hat{f}_{aaa}(y|z)}{\hat{f}_a(z)}\\&=\left(\int K(u)^2du\right)^2\cdot\hat{f}_{aa }(y,z) \end{align}$

Bien que je n'aie jamais vu un modèle pondéré fréquentiste (même WLS intro-stats) essayer de tenir compte de la variance des poids estimés. Pour l'instant, je vais suivre cette convention, mais si j'obtiens des résultats ici, je vais voir si je peux l'intégrer dans un modèle entièrement bayésien qui propagera l'incertitude plus honnêtement. Alors oui, estimer la densité conditionnelle en estimant les densités conjointe et marginale est une procédure standard.

Applicabilité à mon cas

On ne voit pas clairement dans cet article comment cela se généralise au cas où, lorsque $y=x_t$ et $z=\left(x_s\right)_{s=1}^{t-1}$ , et $x_s=\left(\begin{smallmatrix} x_{s,1}\\ \ddots \\x_{s,D} \end{smallmatrix}\right)$ . Mais je suppose que c'est vraiment la même chose qu'une grande séquence longue $x=\left(\left(x_{s,d}\right)_{d=1}^{D}\right)_{s=1}^{t-1}$ ce qui semble parfaitement gérable selon Robinson (1983) (cité dans Chen, et al). Encore une fois, l'utilisation de la règle de Bayes pour estimer la densité conditionnelle semble parfaitement acceptable.

Bande passante

Le dernier problème est la sélection de la bande passante. La bande passante est maintenant une matrice de blocs de la forme

B = (\begin{matrix} B^{n u m e r une t o r} & 0 \\ 0 & B^{ré e n o m je n une t o r} \end{matrix}) = (\begin{matrix} (\begin{matrix} {une}_{1, 1} & B_{1}^{n u m} \\ ⋱ \\ B_{2}^{n u m} & {une}_{t, ré} \end{matrix}) & 0 \\ 0 & (\begin{matrix} c_{1, 1} & B_{1}^{ré e n o m} \\ ⋱ \\ B_{2}^{ré e n o m} & c_{t - 1, ré} \end{matrix}) \end{matrix})

$B=\left(\begin{matrix} B^{numerator}&0\\0&B^{denominator} \end{matrix}\right)=\left(\begin{matrix} \left(\begin{matrix}a_{1,1}&&B^{num}_1\\&\ddots&\\B^{num}_2&&a_{t,D}\end{matrix}\right)&0\\0&\left(\begin{matrix}c_{1,1}&&B^{denom}_1\\&\ddots&\\B^{denom}_2&&c_{t-1,D}\end{matrix}\right) \end{matrix}\right)$

ce qui est un gâchis. Lorsque la bande passante $H=hH_0$ tel que $|H_0|=1$ , puis $b^*\sim\sqrt[4+D]{N}$ , mais ce résultat s'appliquerait séparément aux $B^{num}$ et $B^{denom}$ plutôt que de $B$ dans son ensemble ( source , notes de cours de quelqu'un).

Chen et al trouvent une bande passante optimale $a=b=c$ (dans leur cas 2D) pour un niveau de $z$ qui semble généraliser au cas où $y$ et $z$ sont multivariées. Ils suggèrent de mettre $z=\mu$ où $\mu$ est la moyenne théorique qui serait induite par la normalité conjointe, et ils dérivent $\hat{a}(\mu)$ .

Une version plus générale du même résultat se trouve dans une autre section de ces notes de cours, appelée bande passante «règle générale». Ils dérivent également une bande passante optimale en fonction d'une procédure générale de validation croisée.

Calcul

J'ai un traitement en 7 dimensions sur 3 périodes, j'ai donc une densité jusqu'à 21 dimensions à estimer. Et j'ai oublié les covariables de base. J'ai quelque chose comme 30 covariables de base, donc je finirais par essayer d'estimer une distribution en 51 dimensions, une distribution en 44 dimensions et une distribution en 37 dimensions. Et cela sans oublier que l'extrême dimensionnalité nécessitera un échantillon incroyablement grand. Scott et Wand (1991) rapportent qu'un échantillon de 50 dans une dimension équivaut à bien plus d'un million dans 8 dimensions ... aucune mention de 30. Aucun de ceux - ci ne peut exprimer ce que je ressens en ce moment.

Conclusion

J'ai donc perdu une semaine de ma vie là-dessus. Tant pis. Au lieu de cela, je vais utiliser MCMC pour ajuster simultanément le traitement paramétrique et les modèles de résultats, de sorte que les poids IPT finissent par être fonction des densités prédictives postérieures du modèle de traitement. Ensuite, je vais parcourir les formes linéaires, quadratiques et cubiques pour le modèle de traitement et voir laquelle correspond le mieux.

— shadowtalker
source

"Alors j'ai perdu une semaine de ma vie là-dessus." C'est ce qu'on appelle l'apprentissage et la recherche. En tant qu'étudiant en master, vous devriez embrasser cela car il y a plus comme ça à venir. Il n'y a généralement pas de raccourcis dans la recherche car souvent personne ne connaît le chemin!

— Momo