Est-il possible de regrouper des séries chronologiques en fonction de la forme de la courbe?

J'ai des données sur les ventes pour une série de points de vente et je souhaite les classer en fonction de la forme de leurs courbes au fil du temps. Les données ressemblent à peu près à ceci (mais ne sont évidemment pas aléatoires et ont des données manquantes):

n.quarters <- 100
n.stores <- 20
if (exists("test.data")){
  rm(test.data)
}
for (i in 1:n.stores){
  interval <- runif(1, 1, 200)
  new.df <- data.frame(              
    var0 = interval + c(0, cumsum(runif(49, -5, 5))),
    date = seq.Date(as.Date("1990-03-30"), by="3 month", length.out=n.quarters),
    store = rep(paste("Store", i, sep=""), n.quarters))
  if (exists("test.data")){
    test.data <- rbind(test.data, new.df)    
  } else {
    test.data <- new.df
  }
}
test.data$store <- factor(test.data$store)

Je voudrais savoir comment je peux regrouper en fonction de la forme des courbes dans R. J'avais envisagé l'approche suivante:

1. Créez une nouvelle colonne en transformant linéairement la variable var0 de chaque magasin en une valeur comprise entre 0,0 et 1,0 pour toute la série chronologique.
2. Regroupez ces courbes transformées à l'aide du kmlpackage de R.

J'ai deux questions:

1. Est-ce une approche exploratoire raisonnable?
2. Comment puis-je transformer mes données dans le format de données longitudinal qui kmlcomprendra? Tous les extraits R seraient très appréciés!

Plusieurs liens d’analyse des données longitudinales ont été discutés dans le lien fourni par @Jeromy. Je vous suggère donc de les lire attentivement, en particulier ceux sur l’analyse fonctionnelle des données. Essayez googler pour "Clustering fonctionnel de données longitudinales" ou la boîte à outils PACE Matlab qui concerne spécifiquement le clustering de trajectoires échantillonnées de manière irrégulière (Peng et Müller, Clustering basé sur la distance de processus stochastiques peu observés, avec applications aux enchères en ligne , Annals of Applied Statistics 2008 2: 1056). J'imagine qu'il peut exister un bon cadre statistique pour les séries chronologiques financières, mais je ne le sais pas.

Le kmlpaquet repose essentiellement sur k-moyennes, travaillant (par défaut) sur des distances euclidiennes entre les mesures observées sur individus. Ce que l’on appelle une trajectoire n’est que la série de valeurs observées pour chaque individu , et$t$$n$$i$$y_i=(y_{i1},y_{i2},\dots,y_{it})$$d(y_i,y_j)=\sqrt{t^{-1}\sum_{k=1}^t(y_{ik}-y_{jk})^2}$. Les données manquantes sont traitées par une légère modification de la mesure de distance précédente (ajustement de Gower) associée à un schéma d'imputation de type voisin le plus proche (pour le calcul du critère de Calinski). Comme je ne me représente pas à quoi ressembleraient vos vraies données, je ne peux pas dire si cela fonctionnera. Au moins, cela fonctionne avec les courbes de croissance longitudinales, la forme "polynomiale", mais je doute que cela vous permette de détecter des motifs très spécifiques (comme les minima / maxima locaux à des instants spécifiques avec des instants différant entre les grappes, par une translation de exemple). Si vous souhaitez regrouper des courbes éventuellement mal alignées, vous devez alors impérativement rechercher d'autres solutions. Le regroupement fonctionnel et l'alignement , de Sangalli et al., Et les références qui y figurent peuvent constituer un bon point de départ.

Ci-dessous, je vous montre un code pouvant vous aider à l'expérimenter (ma valeur de départ est généralement fixée à 101, si vous souhaitez reproduire les résultats). Fondamentalement, pour utiliser, il kmlvous suffit de construire un clusterizLongDataobjet (un idnombre pour la première colonne et les mesures dans les colonnes suivantes).$t$

library(lattice)
xyplot(var0 ~ date, data=test.data, groups=store, type=c("l","g"))

tw <- reshape(test.data, timevar="date", idvar="store", direction="wide")
parallel(tw[,-1], horizontal.axis=F, 
         scales=list(x=list(rot=45, 
                            at=seq(1,ncol(tw)-1,by=2), 
                            labels=substr(names(tw[,-1])[seq(1,ncol(tw)-1,by=2)],6,100), 
                            cex=.5)))

library(kml)
names(tw) <- c("id", paste("t", 1:(ncol(tw)-1)))
tw.cld <- as.cld(tw)
cld.res <- kml(tw.cld,nbRedrawing=5)
plot(tw.cld)

Les deux figures suivantes représentent les données brutes simulées et la solution à cinq grappes (selon le critère de Calinski, également utilisé dans le package fpc ). Je ne montre pas la version mise à l' échelle .

Une approche alternative a été publiée par un habitué des statistiques de Wang, Xiaozhe, Kate Smith et Rob Hyndman.

'Clustering basé sur les caractéristiques pour les données de série temporelle'. Exploration de données et découverte de connaissances 13, no. 3 (2006): 335–364 .

Ils écrivent:

Cet article propose une méthode de regroupement des séries chronologiques en fonction de leurs caractéristiques structurelles. Contrairement à d'autres solutions, cette méthode ne regroupe pas les valeurs de points à l'aide d'une métrique de distance, mais plutôt des grappes basées sur des entités globales extraites de la série chronologique. Les mesures de caractéristiques sont obtenues à partir de chaque série individuelle et peuvent être intégrées dans des algorithmes de classification arbitraires, notamment un algorithme de réseau neuronal non supervisé, une carte auto-organisatrice ou un algorithme de classification hiérarchique. Les mesures globales décrivant les séries chronologiques sont obtenues en appliquant des opérations statistiques qui capturent au mieux les caractéristiques sous-jacentes: tendance, saisonnalité, périodicité, corrélation en série, asymétrie, kurtosis, chaos, non-linéarité et similitude. Depuis que les grappes de méthodes utilisent des mesures globales extraites, il réduit la dimensionnalité de la série chronologique et est beaucoup moins sensible aux données manquantes ou bruitées. Nous fournissons en outre un mécanisme de recherche permettant de trouver la meilleure sélection parmi l'ensemble de fonctionnalités à utiliser comme entrées de clustering.

Le code R est disponible sur le blog de Rob .

Vous pouvez regarder le travail de Eamonn Keogh (UC Riverside) sur le regroupement de séries chronologiques. Son site Web a beaucoup de ressources. Je pense qu'il fournit des exemples de code Matlab, vous devrez donc traduire cela en R.