Notation matricielle pour la régression logistique

En régression linéaire (perte au carré), en utilisant la matrice, nous avons une notation très concise pour l'objectif

$$\text{minimize}~~ \|Ax-b\|^2$$

Où $A$ est la matrice de données, $x$ est les coefficients et $b$ est la réponse.

Existe-t-il une notation matricielle similaire pour l'objectif de régression logistique? Toutes les notations que j'ai vues ne peuvent pas se débarrasser de la somme sur tous les points de données (quelque chose comme $\sum_{\text data} \text{L}_\text{logistic}(y,\beta^Tx)$ ).

---

EDIT: merci pour joceratops et la grande réponse d'AdamO. Leur réponse m'a aidé à réaliser qu'une autre raison pour laquelle la régression linéaire a une notation plus concise est la définition de la norme, qui encapsule le carré et la somme ou $e^\top e$ . Mais en cas de perte logistique, il n'y a pas une telle définition, ce qui complique un peu la notation.

En régression linéaire, la solution d'estimation de vraisemblance maximale (MLE) pour estimer $x$ a la solution de forme fermée suivante (en supposant que A est une matrice avec un rang de colonne complet):

$$\hat{x}_\text{lin}=\underset{x}{\text{argmin}} \|Ax-b\|_2^2 = (A^TA)^{-1}A^Tb$$

Cela se lit comme "trouver le $x$ qui minimise la fonction objectif, $\|Ax-b\|_2^2$ ". La chose agréable de représenter la fonction objective de régression linéaire de cette façon est que nous pouvons garder tout en notation matricielle et à résoudre pour x lin à la main. Comme le mentionne Alex R., dans la pratique, nous ne considérons souvent pas ( A T A ) - 1 directement car il est inefficace sur le plan des calculs et A ne remplit pas souvent les critères de classement complet. Au lieu de cela, nous nous tournons vers le pseudoinverse de Moore-Penrose$\hat{x}_\text{lin}$$(A^TA)^{-1}$$A$. Les détails de la résolution par calcul pour le pseudo-inverse peuvent impliquer la décomposition de Cholesky ou la décomposition en valeurs singulières.

Alternativement, la solution MLE pour estimer les coefficients de régression logistique est:

$$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \sum_{i=1}^{N} y^{(i)}\log(1+e^{-x^Ta^{(i)}}) + (1-y^{(i)})\log(1+e^{x^T a^{(i)}})$$

où (en supposant que chaque échantillon de données est stocké en ligne):

$x$ est un vecteur représente les coefficients de régression

$a^{(i)}$ est un vecteur représentant le$i^{th}$ échantillon / ligne dans la matrice de données$A$

$y^{(i)}$ est un scalaire dans$\{0, 1\}$ , et l'étiquette$i^{th}$ correspondant à la$i^{th}$échantillon i t h

$N$ est le nombre d'échantillons de données / nombre de lignes dansmatrice de données$A$ .

Encore une fois, cela se lit comme "trouver le $x$ qui minimise la fonction objectif".

Si vous vouliez, vous pourriez prendre un peu plus loin et représenter x$\hat{x}_\text{log}$ en notation matricielle comme suit:

$$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \begin{bmatrix} 1 & (1-y^{(1)}) \\ \vdots & \vdots \\ 1 & (1-y^{(N)})\\\end{bmatrix} \begin{bmatrix} \log(1+e^{-x^Ta^{(1)}}) & ... & \log(1+e^{-x^Ta^{(N)}}) \\\log(1+e^{x^Ta^{(1)}}) & ... & \log(1+e^{x^Ta^{(N)}}) \end{bmatrix}$$

mais vous ne gagnez rien à faire cela. La régression logistique n'a pas de solution sous forme fermée et n'obtient pas les mêmes avantages que la régression linéaire en la représentant en notation matricielle. Pour résoudre pour x log des techniques d'estimation telles que la descente de gradient et la méthode de Newton-Raphson sont utilisés. Grâce à l' utilisation de certaines de ces techniques (c. -à- Newton-Raphson), x log est approchée et est représentée en notation matricielle ( voir le lien fourni par Alex R. ).$\hat{x}_\text{log}$$\hat{x}_\text{log}$

La réponse de @joceratops se concentre sur le problème d'optimisation de la probabilité maximale d'estimation. Il s'agit en effet d'une approche flexible qui se prête à de nombreux types de problèmes. Pour estimer la plupart des modèles, y compris les modèles de régression linéaire et logistique, il existe une autre approche générale basée sur la méthode d'estimation des moments.

L'estimateur de régression linéaire peut également être formulé comme la racine de l'équation d'estimation:

$$0 = \mathbf{X}^T(Y - \mathbf{X}\beta)$$

À cet égard $\beta$ is seen as the value which retrieves an average residual of 0. It needn't rely on any underlying probability model to have this interpretation. It is, however, interesting to go about deriving the score equations for a normal likelihood, you will see indeed that they take exactly the form displayed above. Maximizing the likelihood of regular exponential family for a linear model (e.g. linear or logistic regression) is equivalent to obtaining solutions to their score equations.

$$0 = \sum_{i=1}^n S_i(\alpha, \beta) = \frac{\partial}{\partial \beta} \log \mathcal{L}( \beta, \alpha, X, Y) = \mathbf{X}^T (Y - g(\mathbf{X}\beta))$$

Where $Y_i$ has expected value $g(\mathbf{X}_i \beta)$. In GLM estimation, $g$ is said to be the inverse of a link function. In normal likelihood equations, $g^{-1}$ is the identity function, and in logistic regression $g^{-1}$ is the logit function. A more general approach would be to require $0 = \sum_{i=1}^n Y - g(\mathbf{X}_i\beta)$ which allows for model misspecification.

Additionally, it is interesting to note that for regular exponential families, $\frac{\partial g(\mathbf{X}\beta)}{\partial \beta} = \mathbf{V}(g(\mathbf{X}\beta))$ which is called a mean-variance relationship. Indeed for logistic regression, the mean variance relationship is such that the mean $p = g(\mathbf{X}\beta)$ is related to the variance by $\mbox{var}(Y_i) = p_i(1-p_i)$. This suggests an interpretation of a model misspecified GLM as being one which gives a 0 average Pearson residual. This further suggests a generalization to allow non-proportional functional mean derivatives and mean-variance relationships.

A generalized estimating equation approach would specify linear models in the following way:

$$0 = \frac{\partial g(\mathbf{X}\beta)}{\partial \beta} \mathbf{V}^{-1}\left(Y - g(\mathbf{X}\beta)\right)$$

With $\mathbf{V}$ a matrix of variances based on the fitted value (mean) given by $g(\mathbf{X}\beta)$. This approach to estimation allows one to pick a link function and mean variance relationship as with GLMs.

In logistic regression $g$ would be the inverse logit, and $V_{ii}$ would be given by $g(\mathbf{X}_i \beta)(1-g(\mathbf{X}\beta))$. The solutions to this estimating equation, obtained by Newton-Raphson, will yield the $\beta$ obtained from logistic regression. However a somewhat broader class of models is estimable under a similar framework. For instance, the link function can be taken to be the log of the linear predictor so that the regression coefficients are relative risks and not odds ratios. Which--given the well documented pitfalls of interpreting ORs as RRs--behooves me to ask why anyone fits logistic regression models at all anymore.