Modèles génératifs vs discriminants (dans le contexte bayésien)

Quelles sont les différences entre les modèles génératifs et discriminants (discriminants) (dans le contexte de l'apprentissage et de l'inférence bayésienne)?

et qu'est-ce qui concerne la prédiction, la théorie de la décision ou l'apprentissage sans supervision?

Les deux sont utilisés dans l'apprentissage supervisé où vous voulez apprendre une règle qui mappe l'entrée x à la sortie y, étant donné un certain nombre d'exemples d'apprentissage de la forme . Un modèle génératif (par exemple, Bayes naïf) modélise explicitement la distribution de probabilité conjointe p ( x , y ) puis utilise la règle de Bayes pour calculer p ( y | x ) . D'un autre côté, un modèle discriminant (par exemple, la régression logistique) modélise directement p ( y | x ) .$\{(x_i,y_i)\}$$p(x,y)$$p(y|x)$$p(y|x)$

Certaines personnes soutiennent que le modèle discriminant est meilleur dans le sens où il modélise directement la quantité qui vous intéresse , vous n'avez donc pas à consacrer vos efforts de modélisation à l'entrée x (vous devez calculer p ( x | y ) ainsi que dans un modèle génératif). Cependant, le modèle génératif a ses propres avantages tels que la capacité de traitement des données manquantes, etc. Pour une comparaison, vous pouvez jeter un oeil à cet article: Sur discriminante par rapport à génératives classificateurs: comparaison A de la régression logistique et Naive Bayes$(y)$$p(x|y)$

Il peut y avoir des cas où un modèle est meilleur que l'autre (par exemple, les modèles discriminants ont généralement tendance à faire mieux si vous avez beaucoup de données; les modèles génératifs peuvent être meilleurs si vous avez des données supplémentaires sans étiquette). En fait, il existe également des modèles hybird qui essaient d'apporter le meilleur des deux mondes. Voir cet article pour un exemple: hybrides de principe de modèles génératifs et discriminants

Un ajout à la réponse ci-dessus:

Étant donné que le discriminant ne se soucie que de P (Y | X), tandis que le générateur se soucie de P (X, Y) et de P (X) en même temps, afin de bien prédire P (Y | X), le modèle génératif a moins de degré de liberté dans le modèle par rapport au modèle discriminant. Le modèle génératif est donc plus robuste , moins sujet au sur-ajustement, tandis que la discrimination est l'inverse.

Cela explique la réponse ci-dessus

Il peut y avoir des cas où un modèle est meilleur que l'autre (par exemple, les modèles discriminants ont généralement tendance à faire mieux si vous avez beaucoup de données; les modèles génératifs peuvent être meilleurs si vous avez des données supplémentaires sans étiquette).