Inférence statistique sous spécification erronée du modèle

J'ai une question méthodologique générale. Il a peut-être été répondu auparavant, mais je ne parviens pas à localiser le fil correspondant. J'apprécierai les indications de doublons possibles.

( Voici une excellente, mais sans réponse. C'est également similaire dans l'esprit, même avec une réponse, mais cette dernière est trop spécifique de mon point de vue. Elle est également proche, découverte après avoir posté la question.)

Le thème est de savoir comment faire une inférence statistique valide lorsque le modèle formulé avant de voir les données ne décrit pas correctement le processus de génération des données . La question est très générale, mais je vais donner un exemple particulier pour illustrer ce point. Cependant, je m'attends à ce que les réponses se concentrent sur la question méthodologique générale plutôt que de tergiverser sur les détails de l'exemple particulier.

Prenons un exemple concret: dans un paramètre de série chronologique, je suppose que le processus de génération de données est avec . Je vise à tester l'hypothèse du sujet selon laquelle . J'ai jeté ceci en termes de modèle pour obtenir une contrepartie statistique réalisable de mon hypothèse de sujet, et ceci est Jusqu'ici tout va bien. Mais lorsque j'observe les données, je découvre que le modèle ne décrit pas correctement les données. Disons qu'il existe une tendance linéaire, de sorte que le véritable processus de génération de données est avec

Comment puis-je faire une inférence statistique valide sur mon hypothèse de sujet ?$\frac{dy}{dx}=1$

• Si j'utilise le modèle d'origine, ses hypothèses sont violées et l'estimateur de n'a pas la bonne distribution qu'il aurait autrement. Par conséquent, je ne peux pas tester l'hypothèse en utilisant le test .$\beta_1$$t$

• Si, après avoir vu les données, je passe du modèle à et change mon hypothèse statistique de à , les hypothèses du modèle sont satisfaites et je obtenir un estimateur bien comporté de et peut tester sans difficulté en utilisant le test . Cependant, le passage de à$(1)$$(2)$$H_0\colon \ \beta_1=1$$H'_0\colon \ \gamma_1=1$$\gamma_1$$H'_0$$t$
  $(1)$$(2)$est informé par l'ensemble de données sur lequel je souhaite tester l'hypothèse. Cela rend la distribution de l'estimateur (et donc aussi l'inférence) conditionnelle au changement du modèle sous-jacent, qui est dû aux données observées. Il est clair que l'introduction d'un tel conditionnement n'est pas satisfaisante.

Y a-t-il une bonne sortie? (Si ce n'est pas fréquentiste, alors peut-être une alternative bayésienne?)

La sortie est littéralement hors du test de l'échantillon, une vraie. Pas celui où vous divisez l'échantillon en formation et tenez comme en validation croisée, mais la vraie prédiction. Cela fonctionne très bien en sciences naturelles. En fait, c'est la seule façon dont cela fonctionne. Vous construisez une théorie sur certaines données, puis vous êtes censé arriver à une prédiction de quelque chose qui n'a pas encore été observé. De toute évidence, cela ne fonctionne pas dans la plupart des sciences sociales (dites) comme l'économie.

Dans l'industrie, cela fonctionne comme dans les sciences. Par exemple, si l'algorithme de trading ne fonctionne pas, vous allez éventuellement perdre de l'argent, puis vous l'abandonnez. La validation croisée et les ensembles de données de formation sont largement utilisés dans le développement et la décision de déployer l'algorithme, mais une fois en production, il s'agit de gagner de l'argent ou de perdre. Test d'échantillon très simple.

Vous pouvez définir une "procédure combinée" et étudier ses caractéristiques. Supposons que vous partiez d'un modèle simple et que vous autorisiez l'ajustement d'un, deux ou trois modèles plus complexes (ou non paramétriques) au cas où le modèle simple ne conviendrait pas. Vous devez spécifier une règle formelle selon laquelle vous décidez de ne pas adapter le modèle simple mais l'un des autres (et lequel). Vous devez également avoir des tests pour que votre hypothèse d'intérêt soit appliquée sous tous les modèles impliqués (paramétriques ou non paramétriques).

Avec une telle configuration, vous pouvez simuler les caractéristiques, c'est-à-dire avec quel pourcentage votre hypothèse nulle est finalement rejetée si elle est vraie, et en cas de plusieurs déviations d'intérêt. Vous pouvez également simuler à partir de tous les modèles impliqués et examiner des éléments tels que le niveau conditionnel et la puissance conditionnelle étant donné que les données proviennent du modèle X, Y ou Z, ou étant donné que la procédure de test de spécification incorrecte du modèle a sélectionné le modèle X, Y ou Z.

Vous pouvez constater que la sélection du modèle ne fait pas beaucoup de mal dans le sens où le niveau atteint est toujours très proche du niveau que vous recherchiez, et la puissance est OK sinon excellente. Ou vous constaterez peut-être que la sélection de modèles dépendants des données gâche vraiment les choses; cela dépendra des détails (si votre procédure de sélection de modèle est très fiable, les chances sont de niveau et la puissance ne sera pas affectée très fortement).

Maintenant, ce n'est pas tout à fait la même chose que de spécifier un modèle, puis de regarder les données et de décider "oh, j'ai besoin d'un autre", mais c'est probablement aussi proche que possible de rechercher quelles seraient les caractéristiques d'une telle approche. Ce n'est pas anodin car vous devez faire un certain nombre de choix pour que cela fonctionne.

Remarque générale: Je pense qu'il est trompeur de classer binationalement la méthodologie statistique appliquée en "valide" et "invalide". Rien n'est jamais valide à 100% car les hypothèses du modèle ne sont jamais exactes dans la pratique. D'un autre côté, bien que vous puissiez trouver des raisons valables (!) D'appeler quelque chose de "non valide", si l'on examine en profondeur les caractéristiques de l'approche supposée non valide, on peut découvrir qu'elle fonctionne toujours assez bien.