La régression linéaire multiple en 3 dimensions est-elle un plan de meilleur ajustement ou une ligne de meilleur ajustement?

Notre prof ne se lance pas dans les mathématiques ou même la représentation géométrique de la régression linéaire multiple et cela m'a légèrement confus.

D'une part, il est toujours appelé régression linéaire multiple , même dans des dimensions plus élevées. D'un autre côté, si nous avons par exemple et que nous pouvons insérer toutes les valeurs que nous aimerions pour et , cela ne nous donnerait-il pas un plan de solutions possibles et pas une ligne? $\hat{Y} = b_0 + b_1 X_1 + b_2 X_2$ $X_1$ $X_2$

En général, notre surface de prédiction ne sera-t-elle pas un hyperplan dimensionnel pour variables indépendantes? $k$ $k$

multiple-regression high-dimensional

— jeremy radcliff
source

Vous avez raison, la surface de la solution va être un hyperplan en général. C'est juste que le mot hyperplan est une bouchée, l'avion est plus court et la ligne est encore plus courte. Alors que vous continuez en mathématiques, le cas unidimensionnel est de plus en plus rarement discuté, de sorte que le compromis

Big words for high dimensional, Small words for small dimensional

commence à regarder, eh bien, en arrière.

Par exemple, quand je vois une équation comme , où est une matrice et sont des vecteurs, j'appelle cela une équation linéaire . Dans une partie antérieure de ma vie, j'appellerais cela un système d'équations linéaires , réservant une équation linéaire au cas unidimensionnel. Mais ensuite, j'en suis arrivé à un point où le cas unidimensionnel ne se présentait tout simplement pas très souvent, alors que le cas multidimensionnel était partout. $Ax = b$ $A$ $x, b$

Cela se produit également avec la notation. Jamais vu quelqu'un écrire

\frac{\partial F}{\partial X} = 2 X

$\frac{\partial f}{\partial x} = 2x$

Ce symbole à gauche est le nom d'une fonction, donc pour être formel et pédant, vous devez écrire

\frac{\partial F}{\partial X} (X) = 2 X

$\frac{\partial f}{\partial x}(x) = 2x$

C'est pire dans plusieurs dimensions, lorsque la dérivée prend deux arguments, l'un est l'endroit où vous prenez la dérivée, et l'autre est dans quelle direction vous évaluez la dérivée, qui ressemble à

\nabla_{X} F (v)

$\nabla_{x} f (v)$

mais les gens deviennent paresseux très rapidement et commencent à laisser tomber l'un ou l'autre des arguments, en les laissant compris par le contexte.

Les mathématiciens professionnels, les langues fermement en joue, appellent cela un abus de notation . Il y a des sujets dans lesquels il serait essentiellement impossible de s'exprimer sans abuser de la notation, ma géométrie différentielle bien-aimée en est un exemple. Le grand Nicolas Bourbaki a exprimé ce point avec beaucoup d'éloquence

Dans la mesure du possible, nous avons attiré l'attention dans le texte sur les abus de langage, sans lesquels aucun texte mathématique ne risque le pédantisme, pour ne pas dire l'illisibilité.

- Bourbaki (1988)

Vous commentez même un abus de notation dans lequel je suis tombé sans le remarquer moi-même!

Techniquement puisque vous avez écrit df / dx en tant que dérivée partielle, même si les autres variables implicites seraient maintenues constantes, la dérivée partielle ne serait-elle pas techniquement toujours fonction de toutes les variables de la fonction d'origine, comme dans df / dx ( x, y, ...)?

Vous avez parfaitement raison, et cela donne une bonne illustration (non intentionnelle) de ce que je veux en venir ici.

Je rencontre le dérivé dans un vrai sens à une variable si rarement dans mon travail et mes études au quotidien, que j'ai essentiellement oublié que est la notation correcte ici. Je voulais que ce qui précède concerne une fonction à une variable, mais inconsciemment signalé autrement par mon utilisation de . $\frac{d f}{d x}$ $\partial$

Je suppose que j'y pense comme lorsque nous disons "somme infinie" au lieu de "la limite d'une somme lorsque le nombre de termes approche de l'infini". La façon dont j'y pense, c'est que ça va tant que la différence conceptuelle est claire. Dans ce cas (régression multiple), je ne savais pas vraiment de quoi nous parlions en premier lieu.

Yah, c'est une façon cohérente d'y penser. La seule vraie différence est que nous avons une situation tellement commune que nous avons inventé une notation et une terminologie supplémentaires (*) ( et "somme infinie") pour l'exprimer. Dans d'autres cas, nous généralisons un concept, puis ce concept généralisé devient tellement omniprésent que nous réutilisons l' ancienne notation ou terminologie pour le concept généralisé. $\Sigma$

En tant que paresseux, nous voulons économiser les mots dans les cas courants.

(*) Historiquement, ce n'est pas ainsi que des sommes infinies se sont développées. La limite de définition des sommes partielles a été développée a posteriori lorsque les mathématiciens ont commencé à rencontrer des situations où il fallait raisonner très précisément.

— Matthew Drury
source

C'est drôle que vous donniez l'exemple des dérivées partielles car je me posais toujours la question (les joies de l'auto-apprentissage ...). Soit dit en passant (sans rapport et pas moi étant pédant, mais je veux juste m'assurer que je comprends autant que possible) techniquement puisque vous avez écrit df / dx comme dérivée partielle, même si les autres variables implicites seraient maintenues constantes, ne le feraient pas la dérivée partielle est-elle toujours techniquement fonction de toutes les variables de la fonction d'origine, comme en df / dx (x, y, ...)? Je suppose que ma question est la dérivée partielle n'est-elle pas toujours fonction de toutes les variables?

— jeremy radcliff

Merci aussi d'avoir expliqué tout cela. Je suppose que j'y pense comme lorsque nous disons "somme infinie" au lieu de "la limite d'une somme lorsque le nombre de termes approche de l'infini". La façon dont j'y pense, c'est que ça va tant que la différence conceptuelle est claire. Dans ce cas (régression multiple), je ne savais pas vraiment de quoi nous parlions en premier lieu. J'ai essayé d'imaginer une ligne en 3D et j'ai réalisé que cela n'avait pas de sens si nous laissions varier librement plusieurs variables indépendantes, alors je voulais juste m'en assurer.

— jeremy radcliff

+1 bonne réponse. Parfois, les gens sont paresseux et provoquent beaucoup de confusion. C'est pourquoi j'essayais de demander des notations dans ce post. stats.stackexchange.com/questions/216286/…

— Haitao Du

@jeremyradcliff J'ai édité dans un commentaire.

— Matthew Drury

@MatthewDrury, merci d'avoir pris le temps de répondre à mes commentaires. C'est très utile pour moi parce que j'étudie moi-même la grande majorité des mathématiques que je connais, et le manque de culture environnante et l'accès aux mathématiciens font que les échanges de piles et les réponses comme la vôtre me sont inestimables.

— jeremy radcliff

"Linéaire" ne signifie pas tout à fait ce que vous pensez qu'il fait dans ce contexte - c'est un peu plus général

Premièrement, ce n'est pas vraiment une référence à la linéarité dans les x mais aux paramètres * ("linéaire dans les paramètres").

$E(Y|X) = X\beta$ $\beta$

Un plan (ou plus généralement un hyperplan) de meilleur ajustement est donc toujours une "régression linéaire".

$1$ $X\beta$ $X$ $\beta$

— Glen_b -Reinstate Monica
source