Déterminer le seuil optimal de la règle de décision binaire à partir d'observations avec des antérieurs inconnus?

8

Étant donné uniquement les observations d'un signal binaire perturbé par le bruit gaussien avec des informations préalables inconnues, comment puis-je estimer le seuil de décision optimal?

(Non, ce n'est pas une question de devoirs)

Plus précisément, je pense au modèle suivant: $Y$ est un état à deux $(H_0,H_1)$ Variable aléatoire :

$P(Y|H_0) \sim \mathcal N(\mu_0,\sigma)$
$P(Y|H_1) \sim \mathcal N(\mu_1,\sigma),\quad \mu_0 < \mu_1$
$P(H_0) = \pi_0$
$P(H_1) = 1-\pi_0$

avec des paramètres inconnus : $\mu_0, \mu_1, \sigma, \pi_0$ .

Le seuil de vraisemblance maximale a posteriori pourrait être calculé à partir de ces paramètres si je les connaissais. Je pensais à l'origine à la façon d'estimer les paramètres en premier afin d'atteindre le seuil $Y_t$ . Mais je pense qu'il peut être plus robuste d'estimer directement $Y_t$ .

Réflexions: Normaliser les observations (soustraire la moyenne de l'échantillon et diviser par l'écart-type) réduit l'espace des paramètres en 2 dimensions: $\pi_0$ et $\frac \sigma{\mu_1-\mu_0}$ .

— Mark Borgerding
source

Ce problème serait beaucoup plus facile si vous pouviez supposer que Pi0 était 0,5. :-)

— Jim Clay

Cette question pourrait-elle être quelque peu liée à celles-ci: stackoverflow.com/questions/1504378/… ou stackoverflow.com/questions/5451089/…

— hotpaw2

Une séquence d'apprentissage d'observations est-elle disponible pour estimer les moyennes, les variances, etc.? Ou vous donne-t-on simplement une séquence de données dans laquelle certaines valeurs proviennent de

H_{0}

$H_0$ et certains de

H_{1}

$H_1$ mais vous ne savez pas lequel est lequel?

— Dilip Sarwate

6

Mon intuition est qu'il serait difficile de déterminer le bon seuil de décision que vous vous attendez à trouver:

τ = \frac{1}{2} (μ_{0} + μ_{1}) - \frac{σ^{2}}{‖ μ_{0} - μ_{1} ‖^{2}} \log \frac{π}{1 - π} (μ_{0} - μ_{1})

$\tau = \frac{1}{2}\left(\mu_0 + \mu_1\right) - \frac{\sigma^2}{\lVert\mu_0 - \mu_1\rVert^2} \log \frac{\pi}{1 - \pi}\left(\mu_0 - \mu_1\right)$

A partir des statistiques globales que vous envisagez (moyenne d'échantillon: $\pi \mu_0 + (1 - \pi) \mu_1$ ; écart type: expression plus complexe mais je doute que cela impliquerait un log).

J'aborderais le problème de cette façon:

Si l'hypothèse que $\sigma$ est petit peut être fait

Je le mentionne, car gardez à l'esprit que le seuil de décision est affecté par $\pi$ seulement si $\sigma$ est suffisamment élevé pour permettre aux deux classes de se chevaucher. Si la $\mu$ s sont éloignés de plus de quelques-uns $\sigma$ , les probabilités a priori de classe n'ont rien à dire dans le processus de décision!
- Exécutez k-means sur vos observations ( $\sigma$ est petit et est partagé par les deux classes, donc k-means est dans ce cas EM pour le modèle de mélange). Si vous voulez simplement binariser ces observations et aucune autre donnée, vous pouvez vous arrêter ici.
- Si vous avez de nouvelles observations à binariser et que vous savez qu'elles sont générées par le même processus, vous pouvez utiliser les centroïdes de classe trouvés par k-means sur vos données d'entraînement comme estimations de $\mu$ et utilisez le milieu comme seuil de décision.
Si aucune hypothèse $\sigma$ peut être fait
- Exécutez l'algorithme EM (avec une covariance diagonale groupée) sur vos données d'entraînement. Utilisez les variables "d'appartenance à une classe souple" inférées pour binariser vos observations.
- Calculer le seuil de décision $\tau$ à partir des paramètres donnés par EM pour binariser les nouvelles données générées par le même processus.

— pichenettes
source

2

Pour résumer, vous avez deux distributions avec des paramètres inconnus et une mesure qui peut provenir de l'un ou l'autre processus stochastique. Ceci est généralement désigné comme un problème d'association de données et il est très courant et largement étudié au sein de la communauté de suivi. Vous pourriez envisager d'utiliser un filtre d'association de données de probabilité (PDAF) ou un algorithme de suivi multi-hypothèses (MHT). Cela devrait vous fournir des estimations de la moyenne et de la variance pour chaque distribution.
Alternativement, puisque votre bruit est blanc et gaussien, les ML, MAP et MMSE sont tous équivalents et peuvent être trouvés en minimisant l'erreur quadratique moyenne (fonction de coût), comme cela est effectivement décrit par la réponse précédente. J'utiliserais une approche de programmation dynamique pour trouver le minimum de la fonction de coût. Cela devrait être moins complexe (sur le plan informatique) que les méthodes EM / clustering décrites précédemment. Encore un commentaire: le PDAF est récursif. Étant donné le modèle de signal simple, il devrait fonctionner très efficacement et à ce que j'attends, c'est une fraction de la complexité de calcul de l'algorithme EM. Bonne chance, -B

— Brant Jameson
source

1

Il existe un algorithme du milieu des années 1980 de Kittler et Illingworth appelé «Minimum Error Thresholding» qui résout ce problème pour les distributions gaussiennes. Récemment, Mike Titterington (Université de Glasgow) et JH Xue (maintenant à l'UCL) ont mis cela dans un cadre statistique plus formel, voir leurs publications de revues conjointes.

— utile
source