Distinction entre modèle linéaire et non linéaire

13

J'ai lu quelques explications sur les propriétés des modèles linéaires par rapport aux modèles non linéaires, mais je ne sais toujours pas si un modèle disponible est linéaire ou non linéaire. Par exemple, le modèle suivant est-il linéaire ou non linéaire?

y_{t} = β_{0} + β_{1} B (L; θ) X_{t} + ε_{t}

$y_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t$

Avec:

B (L; θ) = \sum_{k = 1}^{K} b (k; θ) L^{k}

$B(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k$

L^{k} X_{t} = X_{t - k}

$L^kX_t=X_{t-k}$

Où représente (une décomposition) fonction polynomiale exponentielle Almon de la forme: $b(k;\theta)$

b (k; θ) = \frac{\exp (θ_{1} k + θ_{2} k^{2})}{\sum_{k = 1}^{K} \exp (θ_{1} k + θ_{2} k^{2})}

$b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)}$

À mon avis, mon équation principale (la première) est linéaire par rapport à , car ce terme est simplement multiplié par un poids. Mais je dirais que la fonction de pondération (la dernière équation) est non linéaire par rapport aux paramètres ans . $X_t$ $\theta_1$ $\theta_2$

Quelqu'un peut-il m'expliquer si ma fonction principale est linéaire ou non linéaire et qu'est-ce que cela signifie pour la procédure d'estimation - dois-je appliquer la méthode des moindres carrés linéaire ou non linéaire?. De plus, quelle est la caractéristique perceptible au moyen de laquelle je peux certainement identifier si une fonction est non linéaire ou linéaire?

linear-model nonlinear-regression nonlinear

— DatamineR
source

16

Avec les définitions habituelles de linéaire et non linéaire en matière de modélisation, ce n'est pas la linéarité par rapport aux prédicteurs qui est l'aspect critique, mais la linéarité par rapport aux paramètres. Un modèle non linéaire est non linéaire car il n'est pas linéaire dans les paramètres.

Par exemple, la première phrase ici dit:

En statistique, la régression non linéaire est une forme d'analyse de régression dans laquelle les données d'observation sont modélisées par une fonction qui est une combinaison non linéaire des paramètres du modèle et dépend d'une ou plusieurs variables indépendantes.

En revanche, les modèles linéaires généralisés ont généralement une relation non linéaire entre la réponse et les prédicteurs, mais la réponse moyenne transformée en lien (le prédicteur linéaire , ) est linéaire dans les paramètres. $\eta$

[Selon cette définition, je crois que votre modèle n'est pas linéaire dans les , bien que si les sont spécifiés (connus), alors cette non-linéarité n'est pas pertinente pour l'estimation. S'ils sont ajustés, alors le modèle est non linéaire.] $\theta$ $\theta$

— Glen_b -Reinstate Monica
source

9

Je suis d'accord avec Glen_b. Dans les problèmes de régression, l'accent est mis sur les paramètres et non sur la variable indépendante ou le prédicteur, x. Et puis on peut décider si l'on veut linéariser le problème en utilisant des transformations simples ou le faire tel quel.

$y = ax + bx^2 + cx^3 + d x^{2/3} + e/x + f x^{-4/7}$ $x$ $x$ $a$ $b$ $c$ $f$

$y = \exp(ax)$ $\exp(ax) = 1 + ax/ 1! + (ax)^2 / 2! + \dots$

$y = a / (1+b \exp(cx)$ $a$ $b$ $c$ $b$ $c$ $(a/y)-1 = Y$

$y = a_1 / (1+b_1\exp(c_1x)) + a_2 / (1+b_2\exp(c_2x))$

En principe, l'utilisation d'une stratégie linéaire pour résoudre un problème de régression non linéaire n'est pas une bonne idée. Donc, abordez les problèmes linéaires (lorsque tous les paramètres ont la puissance 1) en utilisant la régression linéaire et adoptez la régression non linéaire si vos paramètres sont non linéaires.

$\beta_0$ $\beta_1$ $\theta_1$ $\theta_2$

Adoptez une technique des moindres carrés non linéaires pour la résoudre. Choisissez intelligemment les valeurs initiales et utilisez une approche à plusieurs départs pour trouver les minima globaux.

Cette vidéo sera utile (bien qu'elle ne parle pas de solution globale): http://www.youtube.com/watch?v=3Fd4ukzkxps

Utilisation du solveur non linéaire GRG dans la feuille de calcul Excel (installez le kit d'outils du solveur en allant dans options - Compléments - Compléments Excel puis en choisissant Complément Solveur) et en appelant le démarrage multiple dans la liste d'options en prescrivant des intervalles aux paramètres et en exigeant la précision des contraintes et la convergence étant faibles, une solution globale peut être obtenue.

Si vous utilisez Matlab, utilisez la boîte à outils d'optimisation globale. Il dispose d'options de démarrage multiple et de recherche globale. Certains codes sont disponibles ici pour une solution globale, ici et ici .

Si vous utilisez Mathematica, regardez ici .

Si vous utilisez R, essayez ici .

— Bipi
source

1

Merci, @Bipi, pour les exemples! Pour votre deuxième, si vous définissez Y = (a / y - 1), comment pouvez-vous isoler le paramètre de la variable y?

— Vivek Subramanian

0

La fonction principale est linéaire.

$B(L;\theta)$

Je procéderais avec un moindre carré linéaire si j'étais vous.

Voici comment vous confirmez ou niez la linéarité:

https://en.wikipedia.org/wiki/Non-linear#Definition