La régression Bayesian Ridge est-elle un autre nom de la régression linéaire bayésienne?

J'ai cherché sur la régression Bayesian Ridge sur Internet, mais la plupart du résultat que je suis devenu concerne la régression linéaire bayésienne. Je me demande si ce sont les deux mêmes choses parce que la formule est assez similaire

La régression de crête utilise la régularisation avec$L_2$La norme, tandis que la régression bayésienne , est un modèle de régression défini en termes probabilistes, avec des a priori explicites sur les paramètres. Le choix des a priori peut avoir un effet de régularisation, par exemple, utiliser les a priori de Laplace pour les coefficients équivaut à$L_1$régularisation . Ce ne sont pas les mêmes, car la régression des crêtes est une sorte de modèle de régression et l'approche bayésienne est un moyen général de définir et d'estimer des modèles statistiques qui peuvent être appliqués à différents modèles.

Le modèle de régression de crête est défini comme

$$\underset{\beta}{\operatorname{arg\,min}}\; \|y - X\beta\|^2_2 + \lambda \|\beta\|^2_2$$

En milieu bayésien, nous estimons la distribution postérieure en utilisant le théorème de Bayes

$$p(\theta|X) \propto p(X|\theta)\,p(\theta)$$

La régression de crête signifie supposer une vraisemblance normale et une priorité normale pour les paramètres. Après avoir baissé la constante de normalisation, la fonction de densité logarithmique de la distribution normale est

$$\begin{align} \log p(x|\mu,\sigma) &= \log\Big[\frac{1}{\sigma \sqrt{2\pi} } e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}\Big] \\ &= \log\Big[\frac{1}{\sigma \sqrt{2\pi} }\Big] + \log\Big[e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}\Big] \\ &\propto -\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2 \\ &\propto -\frac{1}{\sigma^2} \|x - \mu\|^2_2 \end{align}$$

Vous pouvez maintenant voir que maximiser la probabilité de log normale, avec des a priori normaux, équivaut à minimiser la perte au carré, avec une pénalité de crête

$$\begin{align} \underset{\beta}{\operatorname{arg\,max}}& \; \log\mathcal{N}(y|X\beta, \sigma) + \log\mathcal{N}(0, \tau) \\ = \underset{\beta}{\operatorname{arg\,min}}&\; -\Big\{\log\mathcal{N}(y|X\beta, \sigma) + \log\mathcal{N}(0, \tau)\Big\} \\ = \underset{\beta}{\operatorname{arg\,min}}&\; \frac{1}{\sigma^2}\|y - X\beta\|^2_2 + \frac{1}{\tau^2} \|\beta\|^2_2 \end{align}$$

Pour en savoir plus sur la régression et la régularisation des crêtes, voir les discussions: Pourquoi l'estimation des crêtes devient-elle meilleure que l'OLS en ajoutant une constante à la diagonale? et Quel problème les méthodes de retrait résolvent-elles? , et quand dois-je utiliser lasso vs ridge? et pourquoi la régression des crêtes est-elle appelée "crête", pourquoi est-elle nécessaire et que se passe-t-il lorsque passe à l'infini? $\lambda$, et bien d'autres que nous avons .