Utilisation douteuse des principes de traitement du signal pour identifier une tendance

Je propose d'essayer de trouver une tendance dans certaines données à long terme très bruyantes. Les données sont essentiellement des mesures hebdomadaires de quelque chose qui s'est déplacé d'environ 5 mm sur une période d'environ 8 mois. Les données ont une précision de 1 mm et sont très bruyantes, changeant régulièrement de +/- 1 ou 2 mm en une semaine. Nous n'avons que les données au mm près.

Nous prévoyons d'utiliser un traitement de signal de base avec une transformée de Fourier rapide pour séparer le bruit des données brutes. L'hypothèse de base est que si nous reflétons notre ensemble de données et l'ajoutons à la fin de notre ensemble de données existant, nous pouvons créer une pleine longueur d'onde des données et donc nos données apparaîtront dans une transformée de Fourier rapide et nous espérons pouvoir ensuite les séparer .

Étant donné que cela me semble un peu douteux, est-ce une méthode qui mérite d'être analysée ou la méthode de mise en miroir et d'ajout de notre ensemble de données est-elle fondamentalement imparfaite? Nous étudions d'autres approches telles que l'utilisation d'un filtre passe-bas également.

Cela me semble douteux car l'estimation de tendance sera biaisée près du point où vous épisserez les fausses données. Une approche alternative est un lissage de régression non paramétrique tel que le loess ou les splines.

Si vous souhaitez filtrer la tendance à long terme en utilisant le traitement du signal, pourquoi ne pas simplement utiliser un passe-bas?

La chose la plus simple à laquelle je peux penser serait une moyenne mobile exponentielle.

Je pense que vous pouvez obtenir une certaine distorsion sur le point de collage car toutes les ondes sous-jacentes ne se connecteront pas très bien.

Je suggérerais d'utiliser une transformée de Hilbert Huang pour cela. Faites simplement la division en fonctions du mode intrinsèque et voyez ce qui reste comme résidu lors de leur calcul.

Vous pouvez utiliser la transformée en ondelettes discrète (rapide :)) . Le package wavethresh sous R fera tout le travail. Quoi qu'il en soit, j'aime la solution de @James car elle est simple et semble aller droit au but.

La plupart du temps, lorsque j'entends «tendance à long terme», je pense à des tendances à la hausse à long terme ou à des tendances à la baisse à long terme , dont aucune n'est correctement saisie par une transformée de Fourier. Ces tendances à sens unique sont mieux analysées en utilisant la régression linéaire . (Les transformées de Fourier et les périodogrammes sont plus appropriés pour les choses qui montent et descendent).

La régression linéaire est facile à faire dans la plupart des feuilles de calcul. (a) Afficher les équations des lignes de régression (b) Créer des diagrammes de dispersion XY avec des feuilles de calcul

La régression linéaire tente d'approximer vos données avec une ligne droite. Les transformations de Fourier tentent d'approximer vos données avec quelques ondes sinusoïdales additionnées. Il existe d'autres techniques («régression non linéaire») qui tentent d'approximer vos données en polynômes ou autres formes.

La transformée de Fourier suppose la stationnarité du signal large sens et l'invariance temporelle linéaire (LTI). Bien qu'il résiste à certaines violations de ces conditions, je ne pense pas vraiment qu'il soit approprié pour l'analyse des tendances en raison de l'hypothèse de stationnarité, c'est-à-dire que vous essayez de mesurer quelque chose qui viole l'une des hypothèses de base des FFT.

Je serais d'accord avec les affiches ci-dessus; la mise en miroir de vos données et l'ajout des données en miroir à la fin de votre série chronologique est douteux. Je dirais que l'ajustement d'un modèle de régression linéaire avec une tendance temporelle comme mentionné ci-dessus est probablement plus approprié.

Si vous cherchez à examiner la périodicité, vous pouvez supprimer la tendance par filtrage passe-haut et effectuer une analyse de Fourier. Si la tendance reste visible après le filtrage, vous pouvez soustraire une ligne de régression linéaire ajustée du signal d'origine avant la FFT.