Pourquoi plusieurs types de modèles pourraient-ils donner des résultats presque identiques?

J'ai analysé un ensemble de données d'environ 400k enregistrements et 9 variables La variable dépendante est binaire. J'ai ajusté une régression logistique, un arbre de régression, une forêt aléatoire et un arbre boosté par gradient. Tous donnent des valeurs d'ajustement virtuellement identiques lorsque je les valide sur un autre ensemble de données.

Pourquoi cela est-il ainsi? Je suppose que c'est parce que mes observations sur le rapport variable sont si élevées. Si cela est correct, à quel rapport observation / variable les différents modèles commenceront-ils à donner des résultats différents?

Cela signifie que quelle que soit la méthode que vous utilisez, vous êtes en mesure de vous rapprocher raisonnablement de la règle de décision optimale (alias la règle de Bayes ). Les raisons sous-jacentes ont été expliquées dans "Elements of Statistical Learning" de Hastie, Tibshirani et Friedman . Ils ont démontré comment les différentes méthodes fonctionnent en comparant les Figs. 2.1, 2.2, 2.3, 5.11 (dans ma première édition - dans la section sur les splines multidimensionnelles), 12.2, 12.3 (supportent les machines vectorielles), et probablement quelques autres. Si vous n'avez pas lu ce livre, vous devez tout déposer MAINTENANT et le lire. (Je veux dire, cela ne vaut pas la peine de perdre votre emploi, mais cela vaut la peine de manquer un ou deux devoirs si vous êtes étudiant.)

Je ne pense pas que le rapport observations / variable soit l'explication. À la lumière de ma justification présentée ci-dessus, c'est la forme relativement simple de la frontière séparant vos classes dans l'espace multidimensionnel que toutes les méthodes que vous avez essayées ont pu identifier.

il vaut également la peine de regarder les erreurs de formation.

fondamentalement, je ne suis pas d'accord avec votre analyse. si la régression logistique, etc. donne tous les mêmes résultats, cela suggérerait que le «meilleur modèle» est très simple (que tous les modèles peuvent s'adapter aussi bien - par exemple, fondamentalement linéaire).

Alors, la question pourrait être pourquoi le meilleur modèle est-il un modèle simple?: Cela pourrait suggérer que vos variables ne sont pas très prédictives. Son bien sûr difficile à analyser sans connaître les données.

Comme l'a suggéré @ seanv507, des performances similaires peuvent simplement être dues au fait que les données sont mieux séparées par un modèle linéaire. Mais en général, l'affirmation selon laquelle le «rapport observations / variables est si élevé» est incorrecte. Même si votre rapport entre la taille de l'échantillon et le nombre de variables atteint l'infini, vous ne devez pas vous attendre à ce que les différents modèles fonctionnent de manière presque identique, à moins qu'ils n'offrent tous le même biais prédictif.

Je suppose que c'est parce que mes observations sur le rapport variable sont si élevées.

Je pense que cette explication est parfaitement logique.

Si cela est correct, à quel rapport observation / variable les différents modèles commenceront-ils à donner des résultats différents?

Cela dépendra probablement beaucoup de vos données spécifiques (par exemple, même si vos neuf variables sont continues, facteurs, ordinaires ou binaires), ainsi que des décisions de réglage que vous avez prises lors de l'ajustement de votre modèle.

Mais vous pouvez jouer avec le rapport observation / variable - non pas en augmentant le nombre de variables, mais en diminuant le nombre d'observations. Tirez au hasard 100 observations, ajustez les modèles et voyez si différents modèles donnent des résultats différents. (Je suppose que oui.) Faites-le plusieurs fois avec différents échantillons tirés de votre nombre total d'observations. Regardez ensuite des sous-échantillons de 1 000 observations ... 10 000 observations ... et ainsi de suite.