Combien de retards utiliser dans le test Ljung-Box d'une série chronologique?

Une fois qu'un modèle ARMA est adapté à une série chronologique, il est courant de vérifier les résidus via le test de portemanteau de Ljung-Box (entre autres tests). Le test Ljung-Box renvoie une valeur ap. Il a un paramètre, h , qui est le nombre de retards à tester. Certains textes recommandent d'utiliser h = 20; d'autres recommandent d'utiliser h = ln (n); la plupart ne disent pas ce h à utiliser.

Plutôt que d'utiliser une seule valeur pour h , supposons que je fasse le test de Ljung-Box pour tout h <50, puis je choisis le h qui donne la valeur p minimale. Cette approche est-elle raisonnable? Quels sont les avantages et les inconvénients? (Un inconvénient évident est l'augmentation du temps de calcul, mais ce n'est pas un problème ici.) Y a-t-il de la littérature à ce sujet?

Pour élaborer un peu .... Si le test donne p> 0,05 pour tout h , alors évidemment les séries temporelles (résidus) passent le test. Ma question concerne la façon d'interpréter le test si p <0,05 pour certaines valeurs de h et non pour d'autres valeurs.

La réponse dépend certainement de: Pourquoi essayez-vous réellement d'utiliser le test $Q$ ?

La raison commune est la suivante: avoir plus ou moins confiance en la signification statistique commune de l'hypothèse nulle d'absence d'autocorrélation jusqu'au décalage $h$ (en supposant alternativement que vous avez quelque chose proche d' un faible bruit blanc ) et construire un modèle parcimonieux , ayant aussi peu nombre de paramètres possible.

Habituellement, les données de séries chronologiques ont un schéma saisonnier naturel, de sorte que la règle pratique serait de définir $h$ à deux fois cette valeur. Un autre est l'horizon de prévision, si vous utilisez le modèle pour prévoir les besoins. Enfin, si vous constatez des écarts importants à ces derniers retards, essayez de penser aux corrections (cela pourrait-il être dû à certains effets saisonniers, ou les données n'ont pas été corrigées pour les valeurs aberrantes).

Plutôt que d'utiliser une seule valeur pour h, supposons que je fasse le test de Ljung-Box pour tout h <50, puis je choisis le h qui donne la valeur minimale de p.

C'est un test de signification commun , donc si le choix de $h$ est basé sur les données, alors pourquoi devrais-je me soucier de quelques petits départs (occasionnels?) À un décalage inférieur à $h$ , en supposant qu'il est bien inférieur à $n$ bien sûr (la puissance du test que vous avez mentionné). Cherchant à trouver un modèle simple mais pertinent, je suggère les critères d'information décrits ci-dessous.

Ma question concerne la façon d'interpréter le test si $p<0.05$ pour certaines valeurs de $h$ et non pour d'autres valeurs.

Cela dépendra donc de la distance du présent. Inconvénients des départs lointains: plus de paramètres à estimer, moins de degrés de liberté, pire pouvoir prédictif du modèle.

Essayez d'estimer le modèle, y compris les parties MA et / ou AR au décalage où le départ se produit ET regardez également l'un des critères d'information (AIC ou BIC selon la taille de l'échantillon), cela vous apporterait plus d'informations sur le modèle le plus parcimonieux. Tous les exercices de prédiction hors échantillon sont également les bienvenus ici.

Supposons que nous spécifions un modèle AR (1) simple, avec toutes les propriétés habituelles,

$$y_t = \beta y_{t-1} + u_t$$

Notons la covariance théorique du terme d'erreur comme

$$\gamma_j \equiv E(u_tu_{t-j})$$

Si nous pouvions observer le terme d'erreur, alors l'autocorrélation d'échantillon du terme d'erreur est définie comme

$$\tilde \rho_j \equiv \frac {\tilde \gamma_j}{\tilde \gamma_0}$$

où

$$\tilde\gamma_j \equiv \frac 1n \sum_{t=j+1}^nu_tu_{t-j},\;\;\; j=0,1,2...$$

Mais en pratique, nous n'observons pas le terme d'erreur. Ainsi, l'autocorrélation de l'échantillon liée au terme d'erreur sera estimée en utilisant les résidus de l'estimation, comme

$$\hat\gamma_j \equiv \frac 1n \sum_{t=j+1}^n\hat u_t\hat u_{t-j},\;\;\; j=0,1,2...$$

La statistique Box-Pierce Q (la Ljung-Box Q n'est qu'une version à l'échelle asymptotiquement neutre) est

$$Q_{BP} = n \sum_{j=1}^p\hat\rho^2_j = \sum_{j=1}^p[\sqrt n\hat\rho_j]^2\xrightarrow{d} \;???\;\chi^2(p)$$

Notre problème est exactement de savoir si peut avoir une distribution asymptotique du chi carré (sous le zéro de non-autocorellation dans le terme d'erreur) dans ce modèle. Pour que cela se produise, chacun de $Q_{BP}$
doit être asymptotiquement normale standard. Un moyen de vérifier cela consiste à examiner si$\sqrt n \hat\rho_j$ a la même distribution asymptotique que$\sqrt n \hat\rho$ (qui est construit en utilisant les vraies erreurs, et a donc le comportement asymptotique souhaité sous le nul).$\sqrt n \tilde\rho$

Nous avons ça

$$\hat u_t = y_t - \hat \beta y_{t-1} = u_t - (\hat \beta - \beta)y_{t-1}$$

où β est un estimateur convergent. Donc$\hat \beta$

$$\hat\gamma_j \equiv \frac 1n \sum_{t=j+1}^n[u_t - (\hat \beta - \beta)y_{t-1}][u_{t-j} - (\hat \beta - \beta)y_{t-j-1}]$$

$$=\tilde \gamma _j -\frac 1n \sum_{t=j+1}^n (\hat \beta - \beta)\big[u_ty_{t-j-1} +u_{t-j}y_{t-1}\big] + \frac 1n \sum_{t=j+1}^n(\hat \beta - \beta)^2y_{t-1}y_{t-j-1}$$

$\hat \beta$

$$\hat \gamma_j \xrightarrow{p} \tilde \gamma_j$$

This implies that

$$\hat \rho_j \xrightarrow{p} \tilde \rho_j \xrightarrow{p} \rho_j$$

But this does not automatically guarantee that $\sqrt n \hat \rho_j$ converges to $\sqrt n\tilde \rho_j$ (in distribution) (think that the continuous mapping theorem does not apply here because the transformation applied to the random variables depends on $n$). In order for this to happen, we need

$$\sqrt n \hat \gamma_j \xrightarrow{d} \sqrt n \tilde \gamma_j$$

(the denominator $\gamma_0$ -tilde or hat- will converge to the variance of the error term in both cases, so it is neutral to our issue).

We have

$$\sqrt n \hat \gamma_j =\sqrt n\tilde \gamma _j -\frac 1n \sum_{t=j+1}^n \sqrt n(\hat \beta - \beta)\big[u_ty_{t-j-1} +u_{t-j}y_{t-1}\big] \\+ \frac 1n \sum_{t=j+1}^n\sqrt n(\hat \beta - \beta)^2y_{t-1}y_{t-j-1}$$

So the question is : do these two sums, multiplied now by $\sqrt n$, go to zero in probability so that we will be left with $\sqrt n \hat \gamma_j =\sqrt n\tilde \gamma _j$ asymptotically?

For the second sum we have

$$\frac 1n \sum_{t=j+1}^n\sqrt n(\hat \beta - \beta)^2y_{t-1}y_{t-j-1} = \frac 1n \sum_{t=j+1}^n\big[\sqrt n(\hat \beta - \beta)][(\hat \beta - \beta)y_{t-1}y_{t-j-1}]$$

Since $[\sqrt n(\hat \beta - \beta)]$ converges to a random variable, and $\hat \beta$ is consistent, this will go to zero.

For the first sum, here too we have that $[\sqrt n(\hat \beta - \beta)]$ converges to a random variable, and so we have that

$$\frac 1n \sum_{t=j+1}^n \big[u_ty_{t-j-1} +u_{t-j}y_{t-1}\big] \xrightarrow{p} E[u_ty_{t-j-1}] + E[u_{t-j}y_{t-1}]$$

The first expected value, $E[u_ty_{t-j-1}]$ is zero by the assumptions of the standard AR(1) model. But the second expected value is not, since the dependent variable depends on past errors.

So $\sqrt n\hat \rho_j$ won't have the same asymptotic distribution as $\sqrt n\tilde \rho_j$. But the asymptotic distribution of the latter is standard Normal, which is the one leading to a chi-squared distribution when squaring the r.v.

Therefore we conclude, that in a pure time series model, the Box-Pierce Q and the Ljung-Box Q statistic cannot be said to have an asymptotic chi-square distribution, so the test loses its asymptotic justification.

This happens because the right-hand side variable (here the lag of the dependent variable) by design is not strictly exogenous to the error term, and we have found that such strict exogeneity is required for the BP/LB Q-statistic to have the postulated asymptotic distribution.

Here the right-hand-side variable is only "predetermined", and the Breusch-Pagan test is then valid. (for the full set of conditions required for an asymptotically valid test, see Hayashi 2000, p. 146-149).

Before you zero-in on the "right" h (which appears to be more of an opinion than a hard rule), make sure the "lag" is correctly defined.

http://www.stat.pitt.edu/stoffer/tsa2/Rissues.htm

Quoting the section below Issue 4 in the above link:

"....The p-values shown for the Ljung-Box statistic plot are incorrect because the degrees of freedom used to calculate the p-values are lag instead of lag - (p+q). That is, the procedure being used does NOT take into account the fact that the residuals are from a fitted model. And YES, at least one R core developer knows this...."

Edit (01/23/2011): Here's an article by Burns that might help:

http://lib.stat.cmu.edu/S/Spoetry/Working/ljungbox.pdf

The thread "Testing for autocorrelation: Ljung-Box versus Breusch-Godfrey" shows that the Ljung-Box test is essentially inapplicable in the case of an autoregressive model. It also shows that Breusch-Godfrey test should be used instead. That limits the relevance of your question and the answers (although the answers may include some generally good points).

Escanciano and Lobato constructed a portmanteau test with automatic, data-driven lag selection based on the Pierce-Box test and its refinements (which include the Ljung-Box test).

The gist of their approach is to combine the AIC and BIC criteria --- common in the identification and estimation of ARMA models --- to select the optimal number of lags to be used. In the introduction of they suggest that, intuitively, ``test conducted using the BIC criterion are able to properly control for type I error and are more powerful when serial correlation is present in the first order''. Instead, tests based on AIC are more powerful against high order serial correlation. Their procedure thus choses a BIC-type lag selection in the case that autocorrelations seem to be small and present only at low order, and an AIC-type lag section otherwise.

The test is implemented in the R package vrtest (see function Auto.Q).

The two most common settings are $\min(20,T-1)$ and $\ln T$ where $T$ is the length of the series, as you correctly noted.

The first one is supposed to be from the authorative book by Box, Jenkins, and Reinsel. Time Series Analysis: Forecasting and Control. 3rd ed. Englewood Cliffs, NJ: Prentice Hall, 1994.. However, here's all they say about the lags on p.314:

It's not a strong argument or suggestion by any means, yet people keep repeating it from one place to another.

The second setting for a lag is from Tsay, R. S. Analysis of Financial Time Series. 2nd Ed. Hoboken, NJ: John Wiley & Sons, Inc., 2005, here's what he wrote on p.33:

Several values of m are often used. Simulation studies suggest that the choice of m ≈ ln(T ) provides better power performance.

This is a somewhat stronger argument, but there's no description of what kind of study was done. So, I wouldn't take it at a face value. He also warns about seasonality:

This general rule needs modification in analysis of seasonal time series for which autocorrelations with lags at multiples of the seasonality are more important.

Summarizing, if you just need to plug some lag into the test and move on, then you can use either of these setting, and that's fine, because that's what most practitioners do. We're either lazy or, more likely, don't have time for this stuff. Otherwise, you'd have to conduct your own research on the power and properties of the statistics for series that you deal with.

UPDATE.

Here's my answer to Richard Hardy's comment and his answer, which refers to another thread on CV started by him. You can see that the exposition in the accepted (by Richerd Hardy himself) answer in that thread is clearly based on ARMAX model, i.e. the model with exogenous regressors $x_t$:

$$y_t = \mathbf x_t'\beta + \phi(L)y_t + u_t$$

However, OP did not indicate that he's doing ARMAX, to contrary, he explicitly mentions ARMA:

After an ARMA model is fit to a time series, it is common to check the residuals via the Ljung-Box portmanteau test

One of the first papers that pointed to a potential issue with LB test was Dezhbaksh, Hashem (1990). “The Inappropriate Use of Serial Correlation Tests in Dynamic Linear Models,” Review of Economics and Statistics, 72, 126–132. Here's the excerpt from the paper:

As you can see, he doesn't object to using LB test for pure time series models such as ARMA. See also the discussion in the manual to a standard econometrics tool EViews:

Si la série représente les résidus de l'estimation ARIMA, les degrés de liberté appropriés doivent être ajustés pour représenter le nombre d'autocorrélations moins le nombre de termes AR et MA précédemment estimés. Il convient également de noter que certaines précautions doivent être prises pour interpréter les résultats d'un test de Ljung-Box appliqué aux résidus d'une spécification ARMAX (voir Dezhbaksh, 1990, pour des preuves de simulation sur les performances des échantillons finis du test dans ce contexte)

Oui, vous devez être prudent avec les modèles ARMAX et le test LB, mais vous ne pouvez pas déclarer que le test LB est toujours mauvais pour toutes les séries autorégressives.

MISE À JOUR 2

La réponse d'Alecos Papadopoulos montre pourquoi le test de Ljung-Box nécessite une hypothèse d' exogénéité stricte . Il ne le montre pas dans son article, mais le test de Breusch-Gpdfrey (un autre test alternatif) ne nécessite qu'une faible exogénéité , ce qui est mieux, bien sûr. C'est ce que Greene, Econometrics, 7e éd. dit sur les différences entre les tests, p.923:

La différence essentielle entre les tests de Godfrey – Breusch et de Box – Pierce est l'utilisation de corrélations partielles (contrôlant X et les autres variables) dans la première et des corrélations simples dans la seconde. Dans l'hypothèse nulle, il n'y a pas d'autocorrélation dans εt, et aucune corrélation entre$x_t$ et $\varepsilon_s$en tout état de cause, les deux tests sont donc asymptotiquement équivalents. En revanche, parce qu'elle ne conditionne pas$x_t$ , le test de Box – Pierce est moins puissant que le test LM lorsque l'hypothèse nulle est fausse, comme l'intuition pourrait le suggérer.

... h doit être aussi petit que possible pour préserver la puissance du test LB dans les circonstances. Lorsque h augmente, la puissance diminue. Le test LB est un test terriblement faible; vous devez avoir beaucoup d'échantillons; n doit être ~> 100 pour être significatif. Malheureusement, je n'ai jamais vu de meilleur test. Mais peut-être existe-t-il. Quelqu'un en connaît-il un?

Paul3nt

Il n'y a pas de bonne réponse à cela qui fonctionne dans toutes les situations pour les raisons que d'autres ont dit que cela dépendra de vos données.

Cela dit, après avoir essayé de reproduire un résultat dans Stata dans RI, vous pouvez dire que, par défaut, l' implémentation Stata utilise:$\mathrm{min}(\frac{n}{2}-2, 40)$. Soit la moitié du nombre de points de données moins 2 ou 40, selon le plus petit des deux.

Tous les défauts sont bien sûr faux, et ce sera certainement faux dans certaines situations. Dans de nombreuses situations, ce n'est peut-être pas un mauvais point de départ.

Permettez-moi de vous proposer notre package R hwwntest . Il a mis en œuvre des tests de bruit blanc basés sur des ondelettes qui ne nécessitent aucun paramètre de réglage et ont une bonne taille statistique et une bonne puissance.

De plus, j'ai récemment trouvé "Réflexions sur le test de Ljung-Box" qui est une excellente discussion sur le sujet de Rob Hyndman.

Mise à jour: Compte tenu de la discussion alternative dans ce fil concernant ARMAX, une autre incitation à examiner hwwntest est la disponibilité d'une fonction de puissance théorique pour l'un des tests par rapport à une hypothèse alternative du modèle ARMA (p, q).