Erreur de gradient singulier en nls avec des valeurs de départ correctes

J'essaie d'adapter une ligne + une courbe exponentielle à certaines données. Pour commencer, j'ai essayé de le faire sur certaines données artificielles. La fonction est: Il s'agit en fait d'une courbe exponentielle avec une section linéaire, ainsi que d'un paramètre de décalage horizontal supplémentaire ( m ). Cependant, lorsque j'utilise la fonction de R, j'obtiens l' erreur redoutée de " matrice de gradient singulier aux estimations de paramètres initiales ", même si j'utilise les mêmes paramètres que ceux que j'ai utilisés pour générer les données en premier lieu. J'ai essayé les différents algorithmes, différentes valeurs de départ et essayé d'utiliser

y = une + b \cdot r^{(X - m)} + c \cdot X

$y=a+b\cdot r^{(x-m)}+c\cdot x$ nls()
optimpour minimiser la somme résiduelle des carrés, tout cela en vain. J'ai lu qu'une raison possible à cela pourrait être une paramétrisation excessive de la formule, mais je ne pense pas que ce soit (n'est-ce pas?)
Quelqu'un a-t-il une suggestion pour ce problème? Ou est-ce juste un modèle maladroit?

Un petit exemple:

#parameters used to generate the data
reala=-3
realb=5
realc=0.5
realr=0.7
realm=1
x=1:11 #x values - I have 11 timepoint data
#linear+exponential function
y=reala + realb*realr^(x-realm) + realc*x
#add a bit of noise to avoid zero-residual data
jitter_y = jitter(y,amount=0.2)
testdat=data.frame(x,jitter_y)

#try the regression with similar starting values to the the real parameters
linexp=nls(jitter_y~a+b*r^(x-m)+c*x, data=testdat, start=list(a=-3, b=5, c=0.5, r=0.7, m=1), trace=T)

Merci!

r nonlinear-regression nls

— Steiny
source

Astuce: regardez le coefficient de

(pour un

fixe ) et notez que

a une famille de solutions unidimensionnelle

avec

r^{x}

$r^x$

r

$r$

b r^{- m} = constant

$b r^{-m} = \text{constant}$

(b, m)

$(b,m)$

b = r^{m} \cdot constant

$b = r^m \cdot \text{constant}$

— whuber

Ce n'est pas un modèle identifié, à moins que

soient en quelque sorte contraints. Je pense que l'exigence du

ferait l'affaire.

b

$b$

r

$r$

r \in (0, 1)

$r \in (0,1)$

— Macro

Réponses:

Je me suis mordu récemment. Mes intentions étaient les mêmes, faire un modèle artificiel et le tester. La raison principale est celle donnée par @whuber et @marco. Un tel modèle n'est pas identifié. Pour voir cela, n'oubliez pas que NLS minimise la fonction:

\sum_{je = 1}^{n} (y_{je} - une - b r^{X_{je} - m} - c X_{je})^{2}

$\sum_{i=1}^n(y_i-a-br^{x_i-m}-cx_i)^2$

Disons qu'il est minimisé par l'ensemble de paramètres $(a,b,m,r,c)$ . Il n'est pas difficile de voir que l'ensemble des paramètres $(a,br^{-m},0,r,c)$ donnera la même valeur de la fonction à minimiser. Le modèle n'est donc pas identifié, c'est-à-dire qu'il n'y a pas de solution unique.

Il n'est pas difficile non plus de comprendre pourquoi le gradient est singulier. Dénoter

F (une, b, r, m, c, X) = une + b r^{X - m} + c X

$f(a,b,r,m,c,x)=a+br^{x-m}+cx$

alors

\frac{\partial F}{\partial b} = r^{X - m}

$\frac{\partial f}{\partial b}=r^{x-m}$

\frac{\partial f}{\partial m} = - b \ln r r^{x - m}

$\frac{\partial f}{\partial m}=-b\ln rr^{x-m}$

et nous obtenons cela pour tout $x$

b \ln r \frac{\partial f}{\partial b} + \frac{\partial f}{\partial m} = 0.

$b\ln r\frac{\partial f}{\partial b}+\frac{\partial f}{\partial m}=0.$

D'où la matrice

\begin{aligned} (\begin{matrix} \nabla F (X_{1}) \\ ⋮ \\ \nabla F (X_{n}) \end{matrix}) \end{aligned}

$\begin{align} \begin{pmatrix} \nabla f(x_1)\\\\ \vdots\\\\ \nabla f(x_n) \end{pmatrix} \end{align}$

ne sera pas de rang complet et c'est pourquoi nlsdonnera le message de gradient singulier.

J'ai passé plus d'une semaine à chercher des bogues dans mon code ailleurs jusqu'à ce que je remarque que le bogue principal était dans le modèle :)

— mpiktas
source

C'est vieux, je sais, mais je me demande simplement si cela signifie que les nls ne peuvent pas être utilisés sur des modèles qui ne sont pas identifiables. Par exemple, un réseau neuronal?

— Count Zero

grosse chance, je sais, mais pourriez-vous décomposer cela pour les gens qui se souviennent moins de calc? :). aussi, quelle est la solution au problème du PO, alors? Abandonnez et rentrez chez vous?

— theforestecologist

b \cdot r^{x - m}

$b\cdot r^{x-m}$

β \cdot r^{x}

$\beta \cdot r^x$

m

$m$

β

$\beta$

β = b \cdot r^{- m}

$\beta = b\cdot r^{-m}$

@CountZero, fondamentalement oui, les méthodes d'optimisation habituelles échoueraient si les paramètres n'étaient pas identifiés. Les réseaux de neurones contournent cependant ce problème, en ajoutant des contraintes supplémentaires et en utilisant d'autres astuces intéressantes.

— mpiktas

\frac{\partial f}{\partial m} = - b \ln r r^{x - m}

$\frac {\partial f}{\partial m} = -b \ln{r}\ r^{x-m}$

Les réponses ci-dessus sont bien sûr correctes. Pour ce que cela vaut, en plus des explications données, si vous essayez cela sur un ensemble de données artificielles, selon la page d'aide nls disponible à l' adresse : http://stat.ethz.ch/R-manual/R-patched/ bibliothèque / stats / html / nls.html

Les nls de R ne pourront pas le gérer. La page d'aide indique spécifiquement:

avertissement

N'utilisez pas nls sur des données artificielles "zéro résiduel".

La fonction nls utilise un critère de convergence à décalage relatif qui compare l'imprécision numérique aux estimations des paramètres actuels à la somme des carrés résiduels. Cela fonctionne bien sur les données du formulaire

y = f (x, θ) + eps

(avec var (eps)> 0). Il n'indique pas la convergence sur les données du formulaire

y = f (x, θ)

car le critère revient à comparer deux composantes de l'erreur d'arrondi. Si vous souhaitez tester nls sur des données artificielles, veuillez ajouter un composant de bruit, comme indiqué dans l'exemple ci-dessous.

Donc, pas de bruit == pas bon pour les nls de R.

— B_D_Dubbya
source

Bienvenue sur le site, @B_D_Dubbya. J'ai pris la liberté de formater votre réponse, j'espère que cela ne vous dérange pas. Vous pouvez trouver plus d'informations sur la modification de vos réponses sur CV ici .

— gung - Rétablir Monica

Je suis au courant de ce problème - d'où l'utilisation de la fonction "gigue" pour ajouter du bruit

— steiny