J'essaie de comprendre si la transformée de Fourier discrète donne la même représentation d'une courbe qu'une régression utilisant la base de Fourier. Par exemple,

library(fda)
Y=daily$tempav[,1] ## my data
length(Y) ## =365

## create Fourier basis and estimate the coefficients
mybasis=create.fourier.basis(c(0,365),365)  
basisMat=eval.basis(1:365,mybasis)
regcoef=coef(lm(Y~basisMat-1))

## using Fourier transform
fftcoef=fft(Y)

## compare
head(fftcoef)
head(regcoef)

FFT donne un nombre complexe, tandis que la régression donne un nombre réel.

Transmettent-ils les mêmes informations? Y a-t-il une carte un à un entre les deux ensembles de nombres?

(J'apprécierais que la réponse soit écrite du point de vue du statisticien au lieu du point de vue de l'ingénieur. De nombreux documents en ligne que je peux trouver ont un jargon d'ingénierie partout, ce qui les rend moins agréables au goût.)

Ce sont les mêmes. Voici comment...

Faire une régression

Supposons que vous correspondiez au modèle où t = 1 , … , N et n = plancher ( N / 2 ) . Cela ne convient pas à la régression linéaire, cependant, vous utilisez plutôt une trigonométrie ( cos ( a + b ) =

$$y_t = \sum_{j=1}^n A_j \cos(2 \pi t [j/N] + \phi_j)$$ $t=1,\ldots,N$$n = \text{floor}(N/2)$ ) et ajustez le modèle équivalent: y t = n ∑ j = 1 β 1 , j$\cos(a + b) = \cos(a)\cos(b) - \sin(a)\sin(b)$ exécution d'une régression linéaire sur toutes les fréquences de Fourier { j / N : j = 1 , … , n } vous donne un tas ( 2 $$y_t = \sum_{j=1}^n \beta_{1,j} \cos(2 \pi t [j/N]) + \beta_{2,j}\sin(2 \pi t [j/N]).$$ $\{j/N : j = 1, \ldots, n \}$$2n$ ) de , i = 1 , 2 . Pour tout j , si vous souhaitez calculer la paire à la main, vous pouvez utiliser:$\{\hat{\beta}_{i,j}\}$$i=1,2$$j$

et β 2,j

$$\hat{\beta}_{1,j} = \frac{\sum_{t=1}^N y_t \cos(2 \pi t [j/N])}{\sum_{t=1}^N \cos^2(2 \pi t [j/N])}$$ Ce sont des formules de régression standard. $$\hat{\beta}_{2,j} = \frac{\sum_{t=1}^N y_t \sin(2 \pi t [j/N])}{\sum_{t=1}^N \sin^2(2 \pi t [j/N])}.$$

Faire une transformation de Fourier discrète

Lorsque vous exécutez une transformée de Fourier, vous calculez, pour :$j=1, \ldots, n$

$$\begin{align*} d(j/N) &= N^{-1/2}\sum_{t=1}^N y_t \exp[- 2 \pi i t [j/N]] \\ &= N^{-1/2}\left(\sum_{t=1}^N y_t\cos(2 \pi t [j/N]) - i \sum_{t=1}^N y_t\sin(2 \pi t [j/N])\right) . \end{align*}$$

Il s'agit d'un nombre complexe (notez le ). Pour voir pourquoi cette égalité est valable, gardez à l'esprit que e i x = cos ( x ) + i sin ( x ) , cos ( $i$$e^{ix} = \cos(x) + i\sin(x)$$\cos(-x) = \cos(x)$$\sin(-x) = -\sin(x)$

$j$

$$|d(j/N)|^2 = N^{-1}\left(\sum_{t=1}^N y_t\cos(2 \pi t [j/N])\right)^2 + N^{-1}\left(\sum_{t=1}^N y_t\sin(2 \pi t [j/N])\right)^2.$$ Dans R, calculer ce vecteur serait I <- abs(fft(Y))^2/length(Y), ce qui est un peu bizarre, car vous devez le mettre à l'échelle.

$$P(j/N) = \left(\frac{2}{N}\sum_{t=1}^N y_t \cos(2 \pi t [j/N]) \right)^2 + \left(\frac{2}{N}\sum_{t=1}^N y_t \sin(2 \pi t [j/N]) \right)^2.$$ $P(j/N) = \frac{4}{N}|d(j/N)|^2$P <- (4/length(Y))*I[(1:floor(length(Y)/2))]

La connexion entre les deux

Il s'avère que le lien entre la régression et les deux périodogrammes est:

$$P(j/N) = \hat{\beta}_{1,j}^2 + \hat{\beta}_{2,j}^2.$$ Why? Because the basis you chose is orthogonal/orthonormal. You can show for each $j$ that $\sum_{t=1}^N \cos^2(2 \pi t [j/N]) = \sum_{t=1}^N \sin^2(2 \pi t [j/N]) = N/2$. Plug that in to the denominators of your formulas for the regression coefficients and voila.

Source: https://www.amazon.com/Time-Analysis-Its-Applications-Statistics/dp/144197864X

They are strongly related. Your example is not reproducible because you didn't include your data, thus I'll make a new one. First of all, let's create a periodic function:

T <- 10
omega <- 2*pi/T
N <- 21
x <- seq(0, T, len = N)
sum_sines_cosines <- function(x, omega){
    sin(omega*x)+2*cos(2*omega*x)+3*sin(4*omega*x)+4*cos(4*omega*x)
}
Yper <- sum_sines_cosines(x, omega)
Yper[N]-Yper[1] # numerically 0

x2 <- seq(0, T, len = 1000)
Yper2 <- sum_sines_cosines(x2, omega)
plot(x2, Yper2, col = "red", type = "l", xlab = "x", ylab = "Y")
points(x, Yper)

Now, let's create a Fourier basis for regression. Note that, with $N = 2k+1$, it doesn't really make sense to create more than $N-2$ basis functions, i.e., $N-3=2(k-1)$ non-constant sines and cosines, because higher frequency components are aliased on such a grid. For example, a sine of frequency $k\omega$ is indistinguishable from a costant (sine): consider the case of $N=3$, i.e., $k=1$. Anyway, if you want to double check, just change N-2 to N in the snippet below and look at the last two columns: you'll see that they're actually useless (and they create issues for the fit, because the design matrix is now singular).

# Fourier Regression with fda
library(fda)
mybasis <- create.fourier.basis(c(0,T),N-2)
basisMat <- eval.basis(x, mybasis)
FDA_regression <- lm(Yper ~ basisMat-1)
FDA_coef <-coef(FDA_regression)
barplot(FDA_coef)

Note that the frequencies are exactly the right ones, but the amplitudes of nonzero components are not (1,2,3,4). The reason is that the fda Fourier basis functions are scaled in a weird way: their maximum value is not 1, as it would be for the usual Fourier basis ${1,\sin{ \omega x},\cos{ \omega x},\dots}$. It's not $\frac{1}{\sqrt \pi}$ either, as it would have been for the orthonormal Fourier basis, ${\frac{1}{\sqrt {2\pi}},\frac{\sin{ \omega x}}{\sqrt \pi},\frac{\cos{ \omega x}}{\sqrt \pi},\dots}$.

# FDA basis has a weird scaling
max(abs(basisMat))
plot(mybasis)

You clearly see that:

1. the maximum value is less than $\frac{1}{\sqrt \pi}$
2. the Fourier basis (truncated to the first $N-2$ terms) contains a constant function (the black line), sines of increasing frequency (the curves which are equal to 0 at the domain boundaries) and cosines of increasing frequency (the curves which are equal to 1 at the domain boundaries), as it should be

Simply scaling the Fourier basis given by fda, so that the usual Fourier basis is obtained, leads to regression coefficients having the expected values:

basisMat <- basisMat/max(abs(basisMat))
FDA_regression <- lm(Yper ~ basisMat-1)
FDA_coef <-coef(FDA_regression)
barplot(FDA_coef, names.arg = colnames(basisMat), main = "rescaled FDA coefficients")

Essayons fftmaintenant: notez que puisqu'il Ypers'agit d'une séquence périodique, le dernier point n'ajoute pas vraiment d'informations (la DFT d'une séquence est toujours périodique). Ainsi, nous pouvons ignorer le dernier point lors du calcul de la FFT. De plus, la FFT n'est qu'un algorithme numérique rapide pour calculer la DFT, et la DFT d'une séquence de nombres réels ou complexes est complexe . Ainsi, nous voulons vraiment les modules des coefficients FFT:

# FFT
fft_coef <- Mod(fft(Yper[1:(N-1)]))*2/(N-1)

On multiplie par $\frac{2}{N-1}$ afin d'avoir la même mise à l'échelle qu'avec la base de Fourier ${1,\sin{ \omega x},\cos{ \omega x},\dots}$. Si nous n'étions pas à l'échelle, nous récupérerions toujours les fréquences correctes, mais les amplitudes seraient toutes mises à l'échelle par le même facteur par rapport à ce que nous avons trouvé auparavant. Voyons maintenant les coefficients fft:

fft_coef <- fft_coef[1:((N-1)/2)]
terms <- paste0("exp",seq(0,(N-1)/2-1))
barplot(fft_coef, names.arg = terms, main = "FFT coefficients")

Ok: les fréquences sont correctes, mais notez que maintenant les fonctions de base ne sont plus des sinus et des cosinus (ce sont des exponentielles complexes $\exp{ni\omega x}$, où avec $i$Je dénote l'unité imaginaire). Notez également qu'au lieu d'un ensemble de fréquences non nulles (1,2,3,4) comme auparavant, nous avons obtenu un ensemble (1,2,5). La raison en est qu'un terme$x_n\exp{ni\omega x}$ dans cette expansion de coefficient complexe (donc $x_n$ est complexe) correspond à deux termes réels $a_n sin(n\omega x)+b_n cos(n\omega x)$ dans l'expansion de la base trigonométrique, en raison de la formule d'Euler $\exp{ix}=\cos{x}+i\sin{x}$. Le module du coefficient complexe est égal à la somme en quadrature des deux coefficients réels, c'est-à-dire$|x_n|=\sqrt{a_n^2+b_n^2}$. À vrai dire,$5=\sqrt{3^3+4^2}$.