Sélection du modèle ABC

Il a été démontré que le choix du modèle ABC utilisant des facteurs de Bayes n'est pas recommandé en raison de la présence d'une erreur provenant de l'utilisation de statistiques sommaires. La conclusion de cet article repose sur l'étude du comportement d'une méthode populaire d'approximation du facteur Bayes (algorithme 2).

Il est bien connu que les facteurs de Bayes ne sont pas le seul moyen de faire un choix de modèle. Il existe d'autres caractéristiques, telles que les performances prédictives d'un modèle, qui pourraient être intéressantes (par exemple, les règles de notation ).

Ma question est : existe-t-il une méthode, analogue à l'algorithme 2, pour approximer certaines règles de notation ou d'autres quantités qui peuvent être utilisées pour effectuer un choix de modèle en termes de performance prédictive dans des contextes à probabilités compliquées?

Belle question s'appuyant sur notre travail ! Connaissez-vous le document de suivi dans lequel nous dérivons des conditions sur les statistiques sommaires pour assurer la cohérence du facteur Bayes? Cela peut sembler trop théorique, mais la conséquence des résultats asymptotiques est assez simple:

Étant donné une statistique récapitulative , $T$

exécuter un algorithme ABC basé sur pour chaque modèle évalué ( ) et estimer les paramètres de ces modèles par l'estimation ABC ; $T$ $i=1,..,I$ $\theta_i$ $\hat\theta_i(T)$
simuler la distribution de la statistique pour chaque modèle et chaque paramètre estimé, par une expérience de Monte Carlo; $T$
vérifiez si les moyens sont tous différents en utilisant l'étape 2 avec un nombre d'itérations suffisamment important et, par exemple, un test t. $\mathbb{E}_{\hat\theta_i(T)}[T(X)]$

Cette procédure n'est pas dans la première version du document mais devrait bientôt apparaître dans la version révisée

— Xi'an
source

Merci pour votre réponse. Je n'étais pas au courant du deuxième document. C'est un résultat intéressant. Une question qui me vient à l'esprit est l'hypothèse de normalité sur le test t (je sais qu'elle est robuste, mais elle pourrait également échouer) ainsi que le niveau de signification requis pour une bonne approximation. Connaissez-vous d'autres techniques de comparaison de modèles avec ABC? Je me souviens d'un article sur DIC sur arxiv. (Je vais attribuer la prime dans quelques jours pour voir si quelqu'un d'autre s'intéresse à la question, je ne suis pas méchant :))

Étant donné qu'il s'agit de mon propre article / recherche, je ne mérite pas vraiment une prime, n'est-ce pas?!

— Xi'an

C'est une belle réponse. J'ai juste le sentiment que vous avez sauté deux fois la question de l'existence d'autres techniques pour mesurer la performance prédictive d'un modèle à l'aide de l'ABC. Même un «oui, il existe» ou un «non, du moins à ma connaissance» ferait l'affaire.

À propos d'autres méthodes, je suggère de jeter un coup d'œil à de Ratmann et al. (2009) , qui ne considère que les performances de chaque modèle au sein de ce modèle, en comparant les erreurs observées avec la distribution des erreurs simulées. Pas tout à fait parfait , mais très attrayant néanmoins.

{ABC}_{μ}

$\text{ABC}_\mu$

— Xi'an