Que signifie «linéaire dans les paramètres»?

13

Le modèle de régression linéaire est linéaire en paramètres.

Qu'est-ce que cela signifie réellement?

regression linear-regression

— Albert Gao
source

1

Plus de référence, si possible? Quelque chose au-dessus ou en dessous de cette ligne (à partir du texte que vous avez trouvé cela)?

— Dawny33

Cela ressemble, et c'est difficile à dire à cause du manque de contexte, une question de statistiques, et devrait probablement être sous une forme développée sur le site stats stackexchange.

— Spacedman

13

Considérons une équation de la forme

$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

où sont les variables et sont les paramètres. Ici, y est une fonction linéaire de (linéaire en paramètres) et également une fonction linéaire de (linéaire en variables). Si vous changez l'équation en $x$ $\beta$ $\beta$ $x$

$y = \beta_0 + \beta_1x_1 + \beta_2x_1^2 + \epsilon$

Ensuite, il n'est plus linéaire en variables (à cause du terme au carré) mais il est toujours linéaire en paramètres. Et pour la régression linéaire (multiple), c'est tout ce qui compte car au final, vous essayez de trouver un ensemble de qui minimise une fonction de perte. Pour cela, vous devez résoudre un système d' équations linéaires . Compte tenu de ses belles propriétés, il a une solution de forme fermée qui nous facilite la vie. Les choses deviennent plus difficiles lorsque vous traitez avec des équations non linéaires. $\beta$

Supposons que vous n'ayez pas affaire à un modèle de régression mais à la place vous avez un problème de programmation mathématique: vous essayez de minimiser une fonction objective de la forme soumise à un ensemble de contraintes: et . Il s'agit d'un problème de programmation linéaire dans le sens où il est linéaire en variables. Contrairement au modèle de régression, vous essayez de trouver un ensemble de (variables) qui satisfait les contraintes et minimise la fonction objectif. Cela vous demandera également de résoudre des systèmes d'équations linéaires, mais ici, ce sera linéaire en variables. Vos paramètres n'auront aucun effet sur ce système d'équations linéaires. $c^Tx$ $Ax \geq b$ $x\geq0$ $x$

— ayhan
source

5

Cela signifie simplement que où sont les paramètres. Les variables peuvent contenir des relations non linéaires; par exemple, $Y = A X$ $A$ $X$ , encore est une fonction linéaire de . $X = [\alpha\; \alpha \beta\; \beta^2]^T$ $Y$ $X$

— Emre
source

1

Merci! Dans votre contexte, ne considère-t-il pas régulièrement X comme variable et A comme paramètre?

— Albert Gao

2

Êtes-vous sûr que X correspond aux paramètres? Je dirais que la matrice A est les paramètres. . .

— Neil Slater

Certes,

sont les variables ici et

les paramètres qui peuvent ou non être "linéaires dans les paramètres". Ils ne sont linéaires que s'ils prennent une forme non linéaire. Le modèle n'est linéaire que si cela est vrai et les variables n'ont également qu'une forme linéaire.

X

$X$

A

$A$

— Astrid

2

Un modèle est linéaire lorsque chaque terme est soit une constante, soit le produit d'un paramètre et d'un prédicteur. Une équation linéaire est construite en additionnant les résultats pour chaque terme. Cela limite l'équation à une seule forme de base:

$Response = constant + parameter * predictor + ... + parameter * predictor$

"Linéaire dans les paramètres" dans Régression linéaire, signifie qu'aucun paramètre n'apparaît comme exposant, ni multiplié ou divisé par un autre paramètre.

— Parag Jyoti Dutta
source