La fonction d'autocorrélation décrit-elle complètement un processus stochastique?

Un processus stochastique est-il complètement décrit par sa fonction d'autocorrélation?

Sinon, quelles propriétés supplémentaires seraient nécessaires?

Qu'entend-on par description complète d'un processus stochastique? Eh bien, mathématiquement, un processus stochastique est une collection $\{X(t) : t \in {\mathbb T}\}$ de variables aléatoires, une pour chaque instant $t$ dans un ensemble d'index $\mathbb T$ , où généralement $\mathbb T$ est la ligne réelle entière ou la ligne réelle positive, et une description complète signifie que pour chaque entier $n \geq 1$ et $n$ instants de temps $t_1, t_2, \ldots, t_n \in \mathbb T$, nous connaissons les distributions (conjointes) des $n$ variables aléatoires $X(t_1)$ , $X(t_2)$ , $\ldots, X(t_n)$ . Il s'agit d'une énorme quantité d'informations: nous devons connaître le CDF de $X(t)$ pour chaque instant $t$ , le CDF ( bidimensionnel) commun de $X(t_1)$ et $X(t_2)$ pour tous les choix de temps instants $t_1$ et$t_2$ , les CDF (tridimensionnels) de$X(t_1)$ ,$X(t_2)$ et$X(t_3)$ , etc. etc. etc.

Alors, naturellement, les gens ont cherché des descriptions plus simples et des modèles plus restrictifs. Une simplification se produit lorsque le processus est invariant à une modification de l'origine temporelle. Cela signifie que

• Toutes les variables aléatoires du processus ont des CDF identiques: $F_{X(t_1)}(x) = F_{X(t_2)}(x)$ pour tout $t_1, t_2$ .
• Deux variables aléatoires séparées par une certaine durée spécifiée ont le même CDF commun que toute autre paire de variables aléatoires séparées par la même durée. Par exemple, les variables aléatoires $X(t_1)$ et $X(t_1 + \tau)$ sont séparées par $\tau$ secondes, tout comme les variables aléatoires $X(t_2)$ et $X(t_2 + \tau)$ , et donc $F_{X(t_1), X(t_1 + \tau)}(x,y) = F_{X(t_2), X(t_2 + \tau)}(x,y)$
• Tous les trois variables aléatoires $X(t_1)$ , $X(t_1 + \tau_1)$ , $X(t_1 + \tau_1 + \tau_2)$ espacées $\tau_1$ et $\tau_2$ ont à part le même CDF joint en $X(t_2)$ , $X(t_2 + \tau_1)$ , $X(t_2 + \tau_1 + \tau_2)$, qui sont également espacés$\tau_1$ et$\tau_2$
• et ainsi de suite pour tous les CDF multidimensionnels. Voir, par exemple, la réponse de Peter K. pour plus de détails sur le cas multidimensionnel.

En effet, les descriptions probabilistes du processus aléatoire ne dépendent pas de ce que nous choisissons d'appeler l'origine sur l'axe du temps: décalage de tous les instants temporels $t_1, t_2, \ldots, t_n$ d'une certaine quantité fixe $\tau$ à $t_1 + \tau, t_2 + \tau, \ldots, t_n + \tau$ donne la même description probabiliste des variables aléatoires. Cette propriété est appelée stationnarité au sens strict et un processus aléatoire qui bénéficie de cette propriété est appelé un processus aléatoire strictement stationnaire ou, plus simplement, un processus aléatoire stationnaire.

Notez qu'une stationnarité stricte en soi ne nécessite aucune forme particulière de CDF. Par exemple, il ne dit pas que toutes les variables sont gaussiennes.

L'adjectif suggère strictement qu'il est possible de définir une forme plus lâche de stationnarité. Si l' articulation CDN du $N^{\text{th}}$ ordre de $X(t_1), X(t_2), \ldots, X(t_N)$ est la même que l' articulation CDF du $N^{\text{th}}$ ordre de $X(t_1+\tau), X(t_2+\tau), \ldots, X(t_N +\tau)$ pour tous les choix de$t_1,t_2, \ldots, t_N$ et$\tau$ , alors le processus aléatoire est dit stationnaire dans l'ordre$N$ et est appeléprocessus aléatoire stationnaire de$N^{\text{th}}$ ordre. Notez qu'un processus aléatoire stationnaire de$N^{\text{th}}$ ordre est également stationnaire à l'ordre$n$ pour chaque$n < N$ positif. (En effetla$n^{\text{th}}$ -order CDF joint est la limite de la$N^{\text{th}}$ -order CDF comme$N-n$ de l'approche des arguments$\infty$ : une généralisation de $F_X(x) = \lim_{y\to\infty}F_{X,Y}(x,y)$ ). Un processus aléatoire strictement stationnaire est alors un processus aléatoire qui est fixe à toutescommandes$N$ .

Si un processus aléatoire est stationnaire à (au moins) l'ordre $1$ , alors tous les $X(t)$ ont la même distribution et donc, en supposant que la moyenne existe, $E[X(t)] = \mu$ est le même pour tout $t$ . De même, $E[(X(t))^2]$ est le même pour tous les $t$ et est appelé la puissance du processus. Tous les processus physiques ont une puissance finie et il est donc courant de supposer que $E[(X(t))^2] < \infty$ auquel cas, et en particulier dans la littérature d'ingénierie plus ancienne, le processus est appelé processus desecond ordre. Le choix du nom est malheureux car il invite à la confusion avec lastationnarité dusecond ordre (cf.ma réponse sur stats.SE), et donc ici nous appellerons un processus pour lequel$E[(X(t))^2]$ est fini pour tout$t$ (avec ou sans$E[(X(t))^2]$ est une constante) en tant queprocessus àpuissance finieet évite cette confusion. Mais notez encore que

un processus stationnaire de premier ordre n'est pas nécessairement un processus à puissance finie.

Considérons un processus aléatoire stationnaire à l'ordre $2$ . Maintenant, puisque la distribution conjointe de $X(t_1)$ et $X(t_1 + \tau)$ est la même que la fonction de distribution conjointe de $X(t_2)$ et $X(t_2 + \tau)$ , $E[X(t_1)X(t_1 + \tau)] = E[X(t_2)X(t_2 + \tau)]$ et la valeur ne dépend que de$\tau$ . Ces attentes sont finies pour un processus de puissance finie et leur valeur est appelée fonction d'autocorrélation du processus:$R_X(\tau) = E[X(t)X(t+\tau)]$ est une fonction de$\tau$ , la séparation temporelle des variables aléatoires$X(t)$ et$X(t+\tau)$ , et ne dépend pas du tout de$t$ . Notez également que

$$E[X(t)X(t+\tau)] = E[X(t+\tau)X(t)] = E[X(t+\tau)X(t + \tau - \tau)] = R_X(-\tau),$$ et donc la fonction d'autocorrélation est une fonction paire de son argument.

Un processus aléatoire stationnaire de second ordre de puissance finie a les propriétés suivantes:

1. Sa moyenne $E[X(t)]$ est une constante
2. Sa fonction d'autocorrélation $R_X(\tau) = E[X(t)X(t+\tau)]$ est fonction de $\tau$ , la séparation temporelle des variables aléatoires $X(t)$ et $X(t+\tau)$ , et ne fait pas dépendent de $t$ du tout.

---

L'hypothèse de stationnarité simplifie dans une certaine mesure la description d'un processus aléatoire mais, pour les ingénieurs et les statisticiens intéressés par la construction de modèles à partir de données expérimentales, l'estimation de tous ces CDF n'est pas une tâche triviale, en particulier lorsqu'il n'y a qu'un segment d'un chemin d'échantillon (ou réalisation) $x(t)$ sur laquelle des mesures peuvent être effectuées. Deux mesures relativement faciles à effectuer (car l'ingénieur a déjà les instruments nécessaires sur son établi (ou des programmes dans MATLAB / Python / Octave / C ++ dans sa bibliothèque de logiciels) sont la valeur DC $\frac 1T\int_0^T x(t)\,\mathrm dt$ de$x(t)$ et la fonction d'autocorrélation$R_x(\tau) = \frac 1T\int_0^T x(t)x(t+\tau)\,\mathrm dt$ (ou sa transformée de Fourier, le spectre de puissance de$x(t)$ ). Prendre ces mesures comme estimations de la moyenne et de la fonction d'autocorrélation d'un processus de puissance finie conduit à un modèle très utile que nous discutons ensuite.

---

Un processus aléatoire de puissance finie est appelé un processus stationnaire au sens large (WSS) (également un processus aléatoire faiblement stationnaire qui a heureusement aussi le même initialisme WSS) s'il a une moyenne constante et sa fonction d'autocorrélation $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ ne dépend que de la différence de temps $t_1 - t_2$ (ou $t_2 - t_1$ ).

Notez que la définition ne dit rien sur les CDF des variables aléatoires composant le processus; c'est entièrement une contrainte sur les moments de premier et de second ordre des variables aléatoires. Bien sûr, un processus aléatoire stationnaire de second ordre de puissance finie (ou stationnaire de rang$N^{\text{th}}$ (pour $N>2$ ) ou strictement stationnaire) est un processus WSS, mais l'inverse n'est pas nécessairement vrai.

Un processus WSS n'a pas besoin d'être stationnaire à n'importe quelle commande.

Considérons, par exemple, le processus aléatoire $\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$ où $\Theta$ prend quatre valeurs également probables $0, \pi/2, \pi$ et $3\pi/2$ . (N'ayez pas peur: les quatre chemins d'échantillonnage possibles de ce processus aléatoire ne sont que les quatre formes d'onde de signal d'un signal QPSK). Notez que chaque $X(t)$ est unevariable aléatoirediscrètequi, en général, prend quatre valeurs également probables$\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$ et$\cos(t+3\pi/2)=\sin(t)$, Il est facile de voir qu'en général $X(t)$ et $X(s)$ ont des distributions différentes, et donc le processus n'est même pas stationnaire de premier ordre. En revanche,

$$E[X(t)] = \frac 14\cos(t)+ \frac 14(-\sin(t)) + \frac 14(-\cos(t))+\frac 14 \sin(t) = 0$$ pour chaque$t$tandis que $$\begin{align} E[X(t)X(s)]&= \left.\left.\frac 14\right[\cos(t)\cos(s) + (-\cos(t))(-\cos(s)) + \sin(t)\sin(s) + (-\sin(t))(-\sin(s))\right]\\ &= \left.\left.\frac 12\right[\cos(t)\cos(s) + \sin(t)\sin(s)\right]\\ &= \frac 12 \cos(t-s). \end{align}$$ En bref, le processus a une moyenne nulle et sa fonction d'autocorrélation ne dépend que de la différence de temps$t-s$, et donc le processusest àsens large stationnaire. Mais il n'est pas stationnaire de premier ordre et ne peut donc pas être stationnaire à des ordres supérieurs non plus.

Même pour les processus WSS qui sont des processus aléatoires stationnaires (ou strictement stationnaires) du second ordre, peu de choses peuvent être dites sur les formes spécifiques des distributions des variables aléatoires. En bref,

Un processus WSS n'est pas nécessairement stationnaire (dans n'importe quel ordre), et la fonction moyenne et d'autocorrélation d'un processus WSS n'est pas suffisante pour donner une description statistique complète du processus.

Enfin, supposons qu'un processus stochastique soit supposé être un processus gaussien («prouver» cela avec un degré de confiance raisonnable n'est pas une tâche triviale). Cela signifie que pour chaque $t$ , $X(t)$ est une variable aléatoire gaussienne et pour tous les entiers positifs $n \geq 2$ et choix de $n$ instants de temps $t_1$ , $t_2$ , $\ldots, t_n$ , les $N$ variables aléatoires $X(t_1)$ , $X(t_2)$ ,$\ldots, X(t_n)$ sontdes variables aléatoiresgaussiennes conjointes. Maintenant, une fonction de densité gaussienne commune estcomplètementdéterminée par les moyennes, les variances et les covariances des variables aléatoires, et dans ce cas, connaissant la fonction moyenne$\mu_X(t) = E[X(t)]$ (il n'est pas nécessaire que ce soit un constante requise pour la stationnarité au sens large) et la fonction d'autocorrélation$R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ pour tout$t_1, t_2$ (il ne doit pas dépendre uniquement de$t_1-t_2$ comme cela est requis pour la stationnarité au sens large) est suffisant pour déterminer les statistiques de la complètement.

Si le processus gaussien est un processus WSS, il s'agit également d'un processus gaussien strictement stationnaire . Heureusement pour les ingénieurs et les processeurs de signaux, de nombreux processus de bruit physique peuvent être bien modélisés comme des processus gaussiens WSS (et donc des processus strictement stationnaires), de sorte que l'observation expérimentale de la fonction d'autocorrélation fournit facilement toutes les distributions conjointes. De plus, puisque les processus gaussiens conservent leur caractère gaussien lorsqu'ils traversent des systèmes linéaires, et la fonction d'autocorrélation de sortie est liée à la fonction d'autocorrélation d'entrée comme

$$R_y = h*\tilde{h}*R_X$$ afin que les statistiques de sortie puissent également être facilement déterminées, le processus WSS en général et les processus gaussiens WSS en particulier sont d'une grande importance dans les applications d'ingénierie.