Quels sont les bons cadres pour la sélection des méthodes?

Je me suis penché sur les cadres théoriques pour la sélection des méthodes (note: pas la sélection des modèles) et j'ai trouvé très peu de travaux systématiques et motivés par des mathématiques. Par «sélection de méthode», j'entends un cadre permettant de distinguer la méthode appropriée (ou meilleure, optimale) en fonction d'un problème ou d'un type de problème.

Ce que j'ai trouvé est un travail substantiel, quoique fragmentaire, sur des méthodes particulières et leur réglage (c'est-à-dire une sélection préalable dans les méthodes bayésiennes), et une sélection de méthode via une sélection de biais (par exemple, Inductive Policy: The Pragmatics of Bias Selection ). Je suis peut-être irréaliste à ce stade précoce du développement de l'apprentissage automatique, mais j'espérais trouver quelque chose comme ce que la théorie de la mesure fait en prescrivant des transformations et des tests admissibles par type d'échelle, seulement dans le domaine des problèmes d'apprentissage.

Aucune suggestion?

machine-learning methodology theory

— John L. Taylor
source

Quelle est la différence entre la sélection de modèles modelselection.org (sujet brûlant en statistique au cours des 20 dernières années) et la sélection de méthodes.

— Robin Girard

Alors que la sélection des modèles implique généralement la notation des modèles au sein d'une famille de distributions, en fonction de leur ajustement et pénalisant le nombre de paramètres utilisés (à la AIC et BIC), tandis que la sélection de méthode est plus générale. La sélection de méthode implique d'être confronté à un problème (par exemple tester, classer, prédire) pour lequel nous avons une certaine connaissance de base (les variables sont connues pour être (par exemple l'indépendance, le type de données) et pour lesquelles des hypothèses auxiliaires sont faites (par exemple la normalité, l'homoscédasticité) , et nous devons sélectionner une méthode.

— John L. Taylor

Il y a maintenant des prescriptions mathématiques selon le type de mesure, les résultats de convergence, l'optimalité et la complexité temps / espace, mais aucun cadre pour leur application systématique, à ma connaissance, d'où la question.

— John L. Taylor

Pouvez-vous donner un exemple de sélection de méthode avec plus de détails (un lien vers une page ou un document pourrait être bien), cela pourrait m'aider à comprendre plus précisément. Merci d'avance

— Robin Girard

L'article susmentionné traite de la sélection des méthodes en général. Quant aux exemples spécifiques et à plus de détails, ils peuvent être disséminés dans des disciplines méta-méthodologiques spécifiques (théorie de la mesure, théorie de l'apprentissage algorithmique, théorie de l'apprentissage statistique, théorie de la complexité), mais je n'ai pas trouvé de traitement systématique, d'où la question. Si vous souhaitez discuter de ces questions en général, vous pouvez m'envoyer un mail à johnnylogic à gmail.

— John L. Taylor

John, je ne suis pas sûr que ma suggestion puisse être utile. Mais, dans tous les cas, le livre Intuitive Biostatistics de Harvey Motulsky peut être utile. Le chapitre 37 «Choix d'un test» contient un très bon tableau à la page 298 qui vous indique, compte tenu de la nature de l'ensemble de données et du problème que vous rencontrez, la méthode statistique à utiliser. Amazon vous permet de rechercher dans ce livre.

Bonne chance.

— Sympa
source