Quelle est exactement la différence entre un modèle paramétrique et non paramétrique?

Je suis confus avec la définition du modèle non paramétrique après avoir lu ce lien Modèles paramétriques vs modèles non paramétriques et répondre aux commentaires de ma autre question .

À l'origine, je pensais que "paramétrique vs non paramétrique" signifie si nous avons des hypothèses de distribution sur le modèle (similaire aux tests d'hypothèses paramétriques ou non paramétriques). Mais les deux ressources prétendent que "paramétrique vs non paramétrique" peut être déterminée par si le nombre de paramètres dans le modèle dépend du nombre de lignes dans la matrice de données.

Pour l'estimation de la densité du noyau (non paramétrique), une telle définition peut être appliquée. Mais selon cette définition, comment un réseau neuronal peut-il être un modèle non paramétrique, car le nombre de paramètres dans le modèle dépend de la structure du réseau neuronal et non du nombre de lignes dans la matrice de données?

Quelle est exactement la différence entre un modèle paramétrique et un modèle non paramétrique?

Dans un modèle paramétrique, le nombre de paramètres est fixe par rapport à la taille de l'échantillon. Dans un modèle non paramétrique, le nombre (effectif) de paramètres peut augmenter avec la taille de l'échantillon.

Dans une régression OLS, le nombre de paramètres sera toujours la longueur de $\beta$, plus un pour la variance.

Un réseau neuronal à architecture fixe et sans décroissance de poids serait un modèle paramétrique.

Mais si vous avez une décroissance de poids, la valeur du paramètre de décroissance sélectionné par validation croisée deviendra généralement plus petite avec plus de données. Cela peut être interprété comme une augmentation du nombre effectif de paramètres avec l'augmentation de la taille de l'échantillon.

Je pense que si le modèle est défini comme un ensemble d'équations (peut être un système d'équations simultanées ou une seule), et que nous apprenons ses paramètres, alors il est paramétrique. Cela inclut les équations différentielles, et même l'équation de Navier-Stokes. Les modèles définis de manière descriptive, quelle que soit la manière dont ils sont résolus, entrent dans la catégorie des paramètres non paramétriques. Ainsi, l'OLS serait paramétrique, et même la régression quantile, bien qu'appartenant au domaine des statistiques non paramétriques, est un modèle paramétrique.

D'un autre côté, lorsque nous utilisons la SEM (modélisation d'équations structurelles) pour identifier le modèle, ce serait un modèle non paramétrique - jusqu'à ce que nous ayons résolu la SEM. L'ACP serait paramétrique, car les équations sont bien définies, mais l'ACC peut être non paramétrique, car nous recherchons des corrélations entre toutes les variables, et s'il s'agit de corrélations de Spearman, nous avons un modèle non paramétrique. Avec les corrélations de Pearson, nous supposons un modèle paramétrique (linéaire). Je pense que les algorithmes de clustering seraient non paramétriques, à moins que nous ne recherchions des clusters de certaines formes.

Et puis nous avons la régression non paramétrique, qui est non paramétrique, et la régression LOESS, qui est paramétrique, mais sert le même but: nous définissons l'équation et la fenêtre.

Le modèle paramétrique peut être sorti en utilisant une équation, comme le modèle de régression logistique, $logodds(G)=int + ax_1 + bx_2 + ...$. Le modèle non paramétrique sont des algorithmes de boîte noire comme la forêt aléatoire, l'arbre de décision. Aucune équation ne peut décrire la relation des attributs derrière le modèle.