Comment faire une régression linéaire par morceaux avec plusieurs nœuds inconnus?

14

Existe-t-il des packages pour effectuer une régression linéaire par morceaux, qui peut détecter automatiquement les nœuds multiples? Merci. Lorsque j'utilise le package strucchange. Je n'ai pas pu détecter les points de changement. Je ne sais pas comment il détecte les points de changement. À partir des parcelles, je pouvais voir qu'il y avait plusieurs points que je voulais, cela pourrait m'aider à les choisir. Quelqu'un pourrait-il donner un exemple ici?

regression change-point

— Honglang Wang
source

1

Cela semble être la même question que stats.stackexchange.com/questions/5700/… . Si cela diffère de manière substantielle, veuillez nous en informer en modifiant votre question pour refléter les différences; sinon, nous le fermerons en double.

— whuber

1

J'ai édité la question.

— Honglang Wang

1

Je pense que vous pouvez le faire comme un problème d'optimisation non linéaire. Écrivez simplement l'équation de la fonction à ajuster, avec les coefficients et les emplacements des nœuds comme paramètres.

— mark999

1

Je pense que le segmentedpackage est ce que vous recherchez.

— AlefSin

1

J'ai eu un problème identique, je l'ai résolu avec le segmentedpackage de R : stackoverflow.com/a/18715116/857416

— un autre ben

8

Would MARS être applicable? R a le package earthqui l'implémente.

— Wayne
source

8

En général, il est un peu étrange de vouloir ajuster quelque chose comme linéaire par morceaux. Cependant, si vous le souhaitez vraiment, l'algorithme MARS est le plus direct. Il créera une fonction un nœud à la fois; puis taille généralement le nombre de nœuds pour lutter contre les arbres de décision ala sur-ajustés. Vous pouvez accéder à l'algorithme MARS dans R via earthou mda. En général, il est compatible avec GCV qui n'est pas si éloigné des autres critères d'information (AIC, BIC etc.)

MARS ne vous donnera pas vraiment un ajustement "optimal" car les nœuds sont développés un à la fois. Il serait vraiment assez difficile d'ajuster un nombre de nœuds vraiment «optimal», car les permutations possibles des emplacements de nœuds exploseraient rapidement.

Généralement, c'est pourquoi les gens se tournent vers les splines de lissage. La plupart des splines de lissage sont cubiques afin que vous puissiez tromper un œil humain en manquant les discontinuités. Il serait cependant tout à fait possible de faire une spline de lissage linéaire. Le gros avantage du lissage des splines est leur seul paramètre à optimiser. Cela vous permet d'atteindre rapidement une solution vraiment "optimale" sans avoir à chercher dans les bouffées de permutations. Cependant, si vous voulez vraiment rechercher des points d'inflexion et que vous avez suffisamment de données pour le faire, alors quelque chose comme MARS serait probablement votre meilleur pari.

Voici un exemple de code pour les splines de lissage linéaire pénalisées dans R:

require(mgcv);data(iris);
gam.test <- gam(Sepal.Length ~ s(Petal.Width,k=6,bs='ps',m=0),data=iris)
summary(gam.test);plot(gam.test);

Cependant, les nœuds réels choisis ne seraient pas nécessairement en corrélation avec de véritables points d'inflexion.

— Parkes de karité
source

3

J'ai programmé cela à partir de zéro une fois il y a quelques années, et j'ai un fichier Matlab pour faire une régression linéaire par morceaux sur mon ordinateur. Environ 1 à 4 points d'arrêt sont calculables pour environ 20 points de mesure. 5 ou 7 points de rupture commencent à être vraiment trop.

L'approche mathématique pure telle que je la vois est d'essayer toutes les combinaisons possibles comme suggéré par l'utilisateur mbq dans la question liée au commentaire ci-dessous votre question.

Puisque les lignes ajustées sont toutes consécutives et adjacentes (pas de chevauchements), la combinatoire suivra le triangle de Pascals. S'il y avait des chevauchements entre les points de données utilisés par les segments de ligne, je crois que la combinatoire suivrait plutôt les nombres de Stirling du deuxième type.

La meilleure solution dans mon esprit est de choisir la combinaison de lignes ajustées qui présente l'écart type le plus faible des valeurs de corrélation R ^ 2 des lignes ajustées. Je vais essayer d'expliquer avec un exemple. Gardez à l'esprit que demander combien de points de rupture on devrait trouver dans les données revient à poser la question "Quelle est la longueur de la côte de la Grande-Bretagne?" comme dans l'un des articles de Benoit Mandelbrots (un mathématicien) sur les fractales. Et il y a un compromis entre le nombre de points de rupture et la profondeur de régression.

Passons maintenant à l'exemple.

$y$ $x$ $x$ $y$

\begin{array}{cccccc} x & y & R^{2} l i n e 1 & R^{2} l i n e 2 & s u m o f R^{2} v a l u e s & s t a n d a r d d e v i a t i o n o f R^{2} \\ 1 & 1 & 1, 000 & 0, 0400 & 1, 0400 & 0, 6788 \\ 2 & 2 & 1, 000 & 0, 0118 & 1, 0118 & 0, 6987 \\ 3 & 3 & 1, 000 & 0, 0004 & 1, 0004 & 0, 7067 \\ 4 & 4 & 1, 000 & 0, 0031 & 1, 0031 & 0, 7048 \\ 5 & 5 & 1, 000 & 0, 0135 & 1, 0135 & 0, 6974 \\ 6 & 6 & 1, 000 & 0, 0238 & 1, 0238 & 0, 6902 \\ 7 & 7 & 1, 000 & 0, 0277 & 1, 0277 & 0, 6874 \\ 8 & 8 & 1, 000 & 0, 0222 & 1, 0222 & 0, 6913 \\ 9 & 9 & 1, 000 & 0, 0093 & 1, 0093 & 0, 7004 \\ 10 & 10 & 1, 000 & - 1, 978 & 1, 000 & 0, 7071 \\ 11 & 9 & 0, 9709 & 0, 0271 & 0, 9980 & 0, 6673 \\ 12 & 8 & 0, 8951 & 0, 1139 & 1, 0090 & 0, 5523 \\ 13 & 7 & 0, 7734 & 0, 2558 & 1, 0292 & 0, 3659 \\ 14 & 6 & 0, 6134 & 0, 4321 & 1, 0455 & 0, 1281 \\ 15 & 5 & 0, 4321 & 0, 6134 & 1, 0455 & 0, 1282 \\ 16 & 4 & 0, 2558 & 0, 7733 & 1, 0291 & 0, 3659 \\ 17 & 3 & 0, 1139 & 0, 8951 & 1, 0090 & 0, 5523 \\ 18 & 2 & 0, 0272 & 0, 9708 & 0, 9980 & 0, 6672 \\ 19 & 1 & 0 & 1, 000 & 1, 000 & 0, 7071 \\ 20 & 2 & 0, 0094 & 1, 000 & 1, 0094 & 0, 7004 \\ 21 & 3 & 0, 0222 & 1, 000 & 1, 0222 & 0, 6914 \\ 22 & 4 & 0, 0278 & 1, 000 & 1, 0278 & 0, 6874 \\ 23 & 5 & 0, 0239 & 1, 000 & 1, 0239 & 0, 6902 \\ 24 & 6 & 0, 0136 & 1, 000 & 1, 0136 & 0, 6974 \\ 25 & 7 & 0, 0032 & 1, 000 & 1, 0032 & 0, 7048 \\ 26 & 8 & 0, 0004 & 1, 000 & 1, 0004 & 0, 7068 \\ 27 & 9 & 0, 0118 & 1, 000 & 1, 0118 & 0, 6987 \\ 28 & 10 & 0, 04 & 1, 000 & 1, 04 & 0, 6788 \end{array}

$\begin{array}{|c|c|c|c|c|c|} \hline &x &y &R^2 line 1 &R^2 line 2 &sum of R^2 values &standard deviation of R^2 \\ \hline &1 &1 &1,000 &0,0400 &1,0400 &0,6788 \\ \hline &2 &2 &1,000 &0,0118 &1,0118 &0,6987 \\ \hline &3 &3 &1,000 &0,0004 &1,0004 &0,7067 \\ \hline &4 &4 &1,000 &0,0031 &1,0031 &0,7048 \\ \hline &5 &5 &1,000 &0,0135 &1,0135 &0,6974 \\ \hline &6 &6 &1,000 &0,0238 &1,0238 &0,6902 \\ \hline &7 &7 &1,000 &0,0277 &1,0277 &0,6874 \\ \hline &8 &8 &1,000 &0,0222 &1,0222 &0,6913 \\ \hline &9 &9 &1,000 &0,0093 &1,0093 &0,7004 \\ \hline &10 &10 &1,000 &-1,978 &1,000 &0,7071 \\ \hline &11 &9 &0,9709 &0,0271 &0,9980 &0,6673 \\ \hline &12 &8 &0,8951 &0,1139 &1,0090 &0,5523 \\ \hline &13 &7 &0,7734 &0,2558 &1,0292 &0,3659 \\ \hline &14 &6 &0,6134 &0,4321 &1,0455 &0,1281 \\ \hline &15 &5 &0,4321 &0,6134 &1,0455 &0,1282 \\ \hline &16 &4 &0,2558 &0,7733 &1,0291 &0,3659 \\ \hline &17 &3 &0,1139 &0,8951 &1,0090 &0,5523 \\ \hline &18 &2 &0,0272 &0,9708 &0,9980 &0,6672 \\ \hline &19 &1 &0 &1,000 &1,000 &0,7071 \\ \hline &20 &2 &0,0094 &1,000 &1,0094 &0,7004 \\ \hline &21 &3 &0,0222 &1,000 &1,0222 &0,6914 \\ \hline &22 &4 &0,0278 &1,000 &1,0278 &0,6874 \\ \hline &23 &5 &0,0239 &1,000 &1,0239 &0,6902 \\ \hline &24 &6 &0,0136 &1,000 &1,0136 &0,6974 \\ \hline &25 &7 &0,0032 &1,000 &1,0032 &0,7048 \\ \hline &26 &8 &0,0004 &1,000 &1,0004 &0,7068 \\ \hline &27 &9 &0,0118 &1,000 &1,0118 &0,6987 \\ \hline &28 &10 &0,04 &1,000 &1,04 &0,6788 \\ \hline \end{array}$

These y values have the graph:

idealized data

Which clearly has two break points. For the sake of argument we will calculate the R^2 correlation values (with the Excel cell formulas (European dot-comma style)):

=INDEX(LINEST(B1:$B$1;A1:$A$1;TRUE;TRUE);3;1)
=INDEX(LINEST(B1:$B$28;A1:$A$28;TRUE;TRUE);3;1)

for all possible non-overlapping combinations of two fitted lines. All the possible pairs of R^2 values have the graph:

R^2 values

The question is which pair of R^2 values should we choose, and how do we generalize to multiple break points as asked in the title? One choice is to pick the combination for which the sum of the R-square correlation is the highest. Plotting this we get the upper blue curve below:

sum of R squared and standard deviation of R squared

The blue curve, the sum of the R-squared values, is the highest in the middle. This is more clearly visible from the table with the value $1,0455$ as the highest value. However it is my opinion that the minimum of the red curve is more accurate. That is, the minimum of the standard deviation of the R^2 values of the fitted regression lines should be the best choice.

Piece wise linear regression - Matlab - multiple break points

— Mats Granvik
source

1

There is a pretty nice algorithm described in Tomé and Miranda (1984).

The proposed methodology uses a least-squares approach to compute the best continuous set of straight lines that fit a given time series, subject to a number of constraints on the minimum distance between breakpoints and on the minimum trend change at each breakpoint.

The code and a GUI are available in both Fortran and IDL from their website: http://www.dfisica.ubi.pt/~artome/linearstep.html

— arkaia
source

0

... first of all you must to do it by iterations, and under some informative criterion, like AIC AICc BIC Cp; because you can get an "ideal" fit, if number of knots K = number od data points N, ok. ... first put K = 0; estimate L = K + 1 regressions, calculate AICc, for instance; then assume minimal number of data points at a separate segment, say L = 3 or L = 4, ok ... put K = 1; start from L-th data as the first knot, calculate SS or MLE, ... and step by step the next data point as a knot, SS or MLE, up to the last knot at the N - L data; choose the arrangement with the best fit (SS or MLE) calculate AICc ... ... put K = 2; ... use all previous regressions (that is their SS or MLE), but step by step divide a single segment into all possible parts ... choose the arrangement with the best fit (SS or MLE) calculate AICc ... if the last AICc occurs greater then the previous one: stop the iterations ! This is an optimal solution under AICc criterion, ok

— Maciek
source

AIC, BIC can't be used because they penalised for extra parameters, which is clearly not the case here.

— HelloWorld

0

I once came across a program called Joinpoint. On their website they say it fits a joinpoint model where "several different lines are connected together at the 'joinpoints'". And further: "The user supplies the minimum and maximum number of joinpoints. The program starts with the minimum number of joinpoint (e.g. 0 joinpoints, which is a straight line) and tests whether more joinpoints are statistically significant and must be added to the model (up to that maximum number)."

The NCI uses it for trend modelling of cancer rates, maybe it fits your needs as well.

— psj
source

0

In order to fit to data a piecewise function :

where $a_1 , a_2 , p_1 , q_1, p_2 , q_2 , p_3 , q_3$ are unknown parameters to be approximately computed, there is a very simple method (not iterative, no initial guess, easy to code in any math computer language). The theory given page 29 in paper : https://fr.scribd.com/document/380941024/Regression-par-morceaux-Piecewise-Regression-pdf and from page 30 :

For example, with the exact data provided by Mats Granvik the result is :

Without scattered data, this example is not very signifiant. Other examples with scattered data are shown in the referenced paper.

— JJacquelin
source

0

You can use the mcp package if you know the number of change points to infer. It gives you great modeling flexibility and a lot of information about the change points and regression parameters, but at the cost of speed.

The mcp website contains many applied examples, e.g.,

library(mcp)

# Define the model
model = list(
  response ~ 1,  # plateau (int_1)
  ~ 0 + time,    # joined slope (time_2) at cp_1
  ~ 1 + time     # disjoined slope (int_3, time_3) at cp_2
)

# Fit it. The `ex_demo` dataset is included in mcp
fit = mcp(model, data = ex_demo)

Then you can visualize:

plot(fit)

Or summarise:

summary(fit)

Family: gaussian(link = 'identity')
Iterations: 9000 from 3 chains.
Segments:
  1: response ~ 1
  2: response ~ 1 ~ 0 + time
  3: response ~ 1 ~ 1 + time

Population-level parameters:
    name match  sim  mean lower  upper Rhat n.eff
    cp_1    OK 30.0 30.27 23.19 38.760    1   384
    cp_2    OK 70.0 69.78 69.27 70.238    1  5792
   int_1    OK 10.0 10.26  8.82 11.768    1  1480
   int_3    OK  0.0  0.44 -2.49  3.428    1   810
 sigma_1    OK  4.0  4.01  3.43  4.591    1  3852
  time_2    OK  0.5  0.53  0.40  0.662    1   437
  time_3    OK -0.2 -0.22 -0.38 -0.035    1   834

Disclaimer: I am the developer of mcp.

— Jonas Lindeløv
source

The use of "detect" in the question indicates the number--and even the existence--of changepoints are not known beforehand.

— whuber