Sur George Box, Galit Shmueli et la méthode scientifique?

(Cette question peut sembler mieux adaptée à la philosophie SE. J'espère que les statisticiens pourront clarifier mes idées fausses sur les déclarations de Box et Shmueli, donc je la poste ici).

George Box (de renommée ARIMA) a déclaré:

"Tous les modèles sont faux, mais certains sont utiles."

Galit Shmueli dans son célèbre article "Expliquer ou prédire" , fait valoir (et cite d'autres personnes qui sont d'accord avec elle) que:

Expliquer et prédire ne sont pas les mêmes, et certains modèles expliquent bien, même s'ils prédisent mal.

Je pense que ces principes sont en quelque sorte contradictoires.

Si un modèle ne prédit pas bien, est-il utile?

Plus important encore, si un modèle explique bien (mais ne prévoit pas nécessairement bien), il doit être vrai (c'est-à-dire pas faux) d'une manière ou d'une autre. Alors, comment cela cadre-t-il avec «tous les modèles sont faux» de Box?

Enfin, si un modèle explique bien, mais ne prédit pas bien, comment est-il même scientifique? La plupart des critères de démarcation scientifique (vérificationnisme, falsificstionisme, etc ...) impliquent qu'une déclaration scientifique doit avoir un pouvoir prédictif, ou familièrement: une théorie ou un modèle n'est correct que s'il peut être testé empiriquement (ou falsifié), ce qui signifie qu'il doit prévoir les résultats futurs.

Mes questions:

• La déclaration de Box et les idées de Shmueli sont-elles en effet contradictoires ou manque-t-il quelque chose, par exemple, un modèle ne peut-il pas avoir un pouvoir prédictif tout en restant utile?
• Si les déclarations de Box et Shmueli ne sont pas contradictoires, alors qu'est-ce que cela signifie pour un modèle de se tromper et de ne pas bien prédire, tout en ayant toujours un pouvoir explicatif? Autrement dit: si l'on enlève à la fois l'exactitude et la capacité de prédiction, que reste-t-il d'un modèle?

Quelles validations empiriques sont possibles lorsqu'un modèle a un pouvoir explicatif, mais pas un pouvoir prédictif? Shmueli mentionne des choses comme: utiliser l'AIC pour l'explication et le BIC pour la prédiction, etc., mais je ne vois pas comment cela résout le problème. Avec les modèles prédictifs, vous pouvez utiliser l'AIC, ou le BIC, ou la régularisation $R^2$ , ou $L1$ , etc ... mais en fin de compte, les tests sur échantillon et les performances en production déterminent la qualité du modèle. Mais pour les modèles qui expliquent bien, je ne vois pas comment une fonction de perte peut vraiment évaluer un modèle. En philosophie des sciences, il y a le concept de sous- détermination qui semble pertinent ici: pour tout ensemble de données donné, on peut toujours judicieusement choisir une distribution (ou un mélange de distributions) et une fonction de perte $L$ de telle manière qu'ils correspondent aux données (et peuvent donc être revendiqués pour les expliquer). De plus, le seuil que $L$ devrait être inférieur pour que quelqu'un prétende que le modèle explique adéquatement les données est arbitraire (un peu comme des valeurs de p similaires, pourquoi est-ce$p < 0.05$ et non$p < 0.1$ ou$p < 0.01$ ?).

• Sur la base de ce qui précède, comment peut-on valider objectivement un modèle qui explique bien, mais ne prévoit pas bien, car les tests hors échantillon ne sont pas possibles?

Permettez-moi de commencer par la citation concise de George Box, selon laquelle "tous les modèles sont faux, mais certains sont utiles". Cette affirmation est une synthèse de l'approche méthodologique du «positivisme», qui est une approche philosophique très influente dans les sciences. Cette approche est décrite en détail (dans le contexte de la théorie économique) dans l'essai méthodologique classique de Friedman (1966) . Dans cet essai, Friedman soutient que toute théorie scientifique utile constitue nécessairement une simplification de la réalité, et donc ses hypothèses doivent toujours s'écarter de la réalité dans une certaine mesure, et peuvent même s'écarter substantiellement de la réalité.en réduisant la complexité du monde à un ensemble de principes gérables, et sa précision en faisant des prédictions sur la réalité, et en générant de nouvelles hypothèses testables sur la réalité. Ainsi, Friedman fait valoir que "tous les modèles sont erronés" dans la mesure où ils contiennent tous des hypothèses qui simplifient (et donc s'écartent) de la réalité, mais que "certains sont utiles" dans la mesure où ils fournissent un cadre simple pour faire des prédictions utiles sur la réalité.

Maintenant, si vous lisez Box (1976) (l'article où il déclare pour la première fois que «tous les modèles sont faux»), vous verrez qu'il ne cite pas Friedman, ni ne mentionne le positivisme méthodologique. Néanmoins, son explication de la méthode scientifique et de ses caractéristiques est extrêmement proche de celle développée par Friedman. En particulier, les deux auteurs soulignent qu'une théorie scientifique fera des prédictions sur la réalité qui peuvent être testées par rapport aux faits observés, et l'erreur dans la prédiction peut ensuite être utilisée comme base pour la révision de la théorie.

Passons maintenant à la dichotomie discutée par Galit Shmueli dans Shmueli (2001) . Dans cet article, Shmueli compare l'explication causale et la prédiction des résultats observés et soutient qu'il s'agit d'activités distinctes. Plus précisément, elle soutient que les relations de causalité sont basées sur des constructions sous-jacentes qui ne se manifestent pas directement dans des résultats mesurables, et donc "les données mesurables ne sont pas des représentations précises de leurs constructions sous-jacentes" (p. 293). Elle soutient donc qu'il existe un aspect de l'analyse statistique qui implique de faire des inférences sur les relations causales sous-jacentes non observables qui ne se manifestent pas par des différences contrefactuelles mesurables dans les résultats.

À moins que je ne comprenne quelque chose, je pense qu'il est juste de dire que cette idée est en tension avec les vues positivistes de Box et Friedman, telles que représentées dans la citation de Box. Le point de vue positiviste dit essentiellement qu'il n'y a pas de «constructions» métaphysiques admissibles au-delà de celles qui se manifestent par des résultats mesurables. Le positivisme se limite à l'examen de données observables et de concepts construits à partir de ces données; il exclut la prise en compte a prioriconcepts métaphysiques. Ainsi, un positiviste soutiendrait que le concept de causalité ne peut être valable que dans la mesure où il est défini en termes de résultats mesurables dans la réalité --- dans la mesure où il est défini comme quelque chose de distinct (comme Shmueli le traite), cela serait considéré comme une spéculation métaphysique et serait considéré comme inadmissible dans le discours scientifique.

Je pense donc que vous avez raison --- ces deux approches sont essentiellement en conflit. L'approche positiviste utilisée par Box insiste pour que les concepts scientifiques valides soient entièrement fondés sur leurs manifestations dans la réalité, tandis que l'approche alternative utilisée par Shmueli dit qu'il existe des "constructions" qui sont des concepts scientifiques importants (que nous voulons expliquer) mais qui ne peuvent pas être parfaitement représentés lorsqu'ils sont «opérationnalisés» en les reliant à des résultats mesurables dans la réalité.

Un modèle, lorsqu'il est utilisé pour expliquer des choses, est une simplification de la réalité. La simplification n'est qu'un autre mot pour "mal d'une manière utile". Par exemple, si nous arrondissons le nombre 3,1415926535898 à 3,14, nous faisons une erreur, mais cette erreur nous permet aux humains de se concentrer sur la partie la plus importante de ce nombre. C'est ainsi que les modèles sont utilisés pour expliquer, cela donne un aperçu de certains problèmes, mais par nécessité doit s'abstraire de beaucoup d'autres choses: nous les humains ne sommes tout simplement pas très bons pour regarder des milliers de choses simultanément. Si nous nous soucions principalement de prédire, nous voulons inclure ces milliers de choses chaque fois que possible, mais expliquer le compromis est différent.

Un exemple d'un modèle qui est excellent en prédiction mais n'explique rien est donné dans l'article Wikipedia « Tous les modèles sont faux ». L'exemple est le modèle de gravitation de Newton. Le modèle de Newton donne presque toujours des prédictions qui ne peuvent être distinguées des observations empiriques. Pourtant, le modèle est extrêmement peu plausible: car il postule une force qui peut agir instantanément sur des distances arbitrairement grandes.

Le modèle de Newton a été remplacé par le modèle donné dans la théorie générale de la relativité d'Einstein. Avec la relativité générale, les forces gravitationnelles voyagent dans l'espace à une vitesse finie (la vitesse de la lumière).

Le modèle de Newton n'est pas une simplification du modèle relativiste général. Pour illustrer cela, considérons une pomme qui tombe d'un arbre. Selon la relativité générale, la pomme tombe sans que la Terre n'exerce de force sur la pomme. (La raison principale de la chute de la pomme est que la Terre déforme le temps, de sorte que les horloges près de la base de l'arbre fonctionnent plus lentement que les horloges en haut de l'arbre.) Ainsi, comme le note l'article de Wikipedia, le modèle de Newton est complètement faux à partir d'un explicatif la perspective.

L'article de Shmueli [2010] suppose qu'il existe deux objectifs pour un modèle: la prédiction et l'explication. En fait, plusieurs auteurs ont déclaré qu'il y avait trois objectifs (voir par exemple Konishi & Kitagawa [ Information Criteria and Statistical Modeling , 2008: §1.1] et Friendly & Meyer [ Discrete Data Analysis , 2016: §11.6]). Les trois finalités correspondent aux trois types de raisonnement logique:

• prédiction (correspondant à la déduction);
• estimation des paramètres (correspondant à l'induction);
• description de la structure (correspondant à l'enlèvement).

Je suis un étudiant de premier cycle en statistique, donc je ne m'appellerai pas expert, mais voici mes deux cents.

Les modèles ne s'expliquent pas; les humains les interprètent. Les modèles linéaires sont plus faciles à comprendre que les réseaux de neurones et les forêts aléatoires car ils sont plus proches de la façon dont nous prenons des décisions. En effet, les RNA imitent le cerveau humain, mais vous ne décidez pas quel restaurant aller demain en faisant une série de multiplications matricielles. Au lieu de cela, vous pondérez certains facteurs dans votre esprit par leur importance, qui est essentiellement une combinaison linéaire.

Le «pouvoir explicatif» mesure dans quelle mesure un modèle s'entend bien avec l'intuition des humains, tandis que le «pouvoir prédictif» mesure dans quelle mesure il s'aligne avec le mécanisme sous-jacent du processus en question. La contradiction entre eux est essentiellement l'écart entre ce qu'est le monde et comment nous pouvons le percevoir / le comprendre. J'espère que cela explique pourquoi "certains modèles expliquent bien, même s'ils prédisent mal".

Ian Stewart a dit un jour: "Si nos cerveaux étaient assez simples pour que nous les comprenions, nous serions si simples que nous ne pourrions pas." Malheureusement, nos petits cerveaux humains sont en fait très simples par rapport à l'univers, voire à une bourse (ce qui implique beaucoup de cerveaux :). Jusqu'à présent, tous les modèles sont des produits du cerveau humain, il doit donc être plus ou moins inexact, ce qui conduit à Box "Tous les modèles sont faux". D'un autre côté, un modèle n'a pas besoin d'être techniquement correct pour être utile. Par exemple, les lois du mouvement de Newton ont été réfutées par Einstein, mais elles restent utiles quand un objet n'est ni ridiculement grand ni rapide.

Pour répondre à votre question, je ne peux honnêtement pas voir l'incompatibilité entre Box et les points de Shmueli. Il semble que vous considérez le "pouvoir explicatif" et le "pouvoir prédictif" comme des propriétés binomiales, mais je pense qu'elles se situent aux deux extrémités d'un spectre.