Quelle est la différence entre le modèle déterministe et le modèle stochastique?

Modèle linéaire simple:

$x=\alpha t + \epsilon_t$ où ~ iid $\epsilon_t$ $N(0,\sigma^2)$

avec et $E(x) = \alpha t$ $Var(x)=\sigma^2$

AR (1):

$X_t =\alpha X_{t-1} + \epsilon_t$ où ~ iid $\epsilon_t$ $N(0,\sigma^2)$

avec et $E(x) = \alpha t$ $Var(x)=t\sigma^2$

Un modèle linéaire simple est donc considéré comme un modèle déterministe tandis qu'un modèle AR (1) est considéré comme un modèle stocahstique.

Selon une vidéo Youtube de Ben Lambert - déterministe vs stochastique , la raison pour laquelle AR (1) est appelé modèle stochastique est que sa variance augmente avec le temps. La caractéristique de la variance non constante doit-elle donc être le critère pour déterminer le stochastique ou le déterministe?

Je ne pense pas non plus qu'un modèle linéaire simple soit totalement déterministe car nous avons un terme associé au modèle. Par conséquent, nous avons toujours un caractère aléatoire dans . Dans quelle mesure peut-on dire qu'un modèle est déterministe ou stochastique? $\epsilon_t$ $x$

— Ken T
source

Tout modèle comportant un terme d'erreur est stochastique. Cela n'a rien à voir avec la variance devant évoluer avec le temps.

— Michael R. Chernick

@MichaelChernick Je ne comprends pas. Alors pourquoi les gens disent-ils que la régression linéaire simple est un modèle déterministe?

— Ken T

Pourriez-vous fournir un lien pour montrer où cela est dit et pourquoi il est dit.?

— Michael R. Chernick

C'était à partir de mes notes de cours d'analyse de séries chronologiques il y a quelques années. C'est peut-être faux.

— Ken T

Réponses:

La vidéo parle de tendances déterministes vs stochastiques , pas de modèles . Le point culminant est très important. Vos deux modèles sont stochastiques, cependant, dans le modèle 1, la tendance est déterministe.

Le modèle 2 n'a pas de tendance. Le texte de votre question est incorrect.

Le modèle 2 dans votre question est AR (1) sans constante, alors que dans la vidéo le modèle est une marche aléatoire (mouvement brownien): Ce modèle a en effet une tendance stochastique. C'est stochastique parce que c'est seulement en moyenne. Chaque réalisation d'un mouvement brownien s'écartera de raison du terme aléatoire , qui est facile à voir par différenciation:

X_{t} = α + X_{t - 1} + e_{t}

$x_t=\alpha+x_{t-1}+e_t$

α t

$\alpha t$

α t

$\alpha t$

e_{t}

$e_t$

Δ X_{t} = X_{t} - X_{t - 1} = α + e_{t}

$\Delta x_t=x_t-x_{t-1}=\alpha+e_t$

X_{t} = X_{0} + \sum_{t = 1}^{t} Δ X_{t} = X_{0} + α t + \sum_{t = 1}^{t} e_{t}

$x_t=x_0+\sum_{t=1}^t\Delta x_t=x_0+\alpha t +\sum_{t=1}^t e_t$

— Aksakal
source

+1. Mais pour être parfaitement clair et précis, vous voudrez peut-être souligner que l'écart par rapport à

est dû au terme aléatoire

, pas seulement

α t

$\alpha t$

e_{1} + e_{2} + \dots + e_{t}

$e_1+e_2+\dots +e_t$

e_{t}

$e_t$

— whuber

Comme Aksakal l'a mentionné dans sa réponse, la vidéo liée par Ken T décrit les propriétés des tendances , et non des modèles directement, probablement dans le cadre de l'enseignement sur le thème connexe de la tendance et de la stationnarité des différences en économétrie. Puisque dans votre question, vous avez posé des questions sur les modèles, le voici dans le contexte des modèles :

Un modèle ou un processus est stochastique s'il a un caractère aléatoire. Par exemple, s'il reçoit les mêmes entrées (variables indépendantes, poids / paramètres, hyperparamètres, etc.), le modèle peut produire des sorties différentes. Dans les modèles déterministes, la sortie est entièrement spécifiée par les entrées du modèle (variables indépendantes, poids / paramètres, hyperparamètres, etc.), de sorte que, étant donné les mêmes entrées pour le modèle, les sorties sont identiques. L'origine du terme "stochastique" vient des processus stochastiques . En règle générale, si un modèle a une variable aléatoire, elle est stochastique. Les modèles stochastiques peuvent même être de simples variables aléatoires indépendantes.

Décortiquons un peu plus de terminologie qui vous aidera à comprendre la littérature autour des modèles statistiques (déterministes, stochastiques ou autres ...):

$AR(1)$ $t-1$ $\mu_{\epsilon_t}=0$ ), etc. Nous faisons ces hypothèses afin de rendre le modèle linéaire utile pour estimer la ou les variables dépendantes en minimisant une certaine norme de ce terme d'erreur. Ces hypothèses nous permettent de dériver des propriétés utiles des estimateurs et de prouver que certains estimateurs sont les meilleurs sous ces hypothèses; par exemple, que l' estimateur OLS est BLEU .

Un exemple plus simple d'un modèle stochastique est de retourner une pièce juste (têtes ou queues), qui peut être modélisée stochastiquement comme une variable aléatoire binaire uniformément distribuée iid, ou un processus de Bernoulli . Vous pouvez également considérer le lancer de pièce comme un système physique et proposer un modèle déterministe (dans un cadre idéalisé) si vous prenez en compte la forme de la pièce, l'angle et la force d'impact, la distance à la surface, etc. Si le ce dernier modèle (physique) du tirage au sort ne contient pas de variables aléatoires (par exemple, il ne tient pas compte de l'erreur de mesure de l'une des entrées du modèle), il est alors déterministe.

$X_t$ $AR(1)$ $\epsilon_t$ $y_t = ax_t+\epsilon_t$ $t$ $Var[X_t]$ $t$ $Var[X_t]$

De plus, il existe parfois une confusion entre les processus stochastiques stationnaires et les processus stochastiques non stationnaires. La stationnarité implique que les statistiques telles que la moyenne ou la variance ne changent pas avec le temps dans le modèle. Les deux sont toujours considérés comme des modèles / processus stochastiques tant qu'il y a un caractère aléatoire. Comme son collègue Maroon, Matthew Gunn, le mentionne dans sa réponse, la décomposition de Wold déclare que tout processus stochastique stationnaire peut être écrit comme la somme d'un processus déterministe et stochastique.

— je fais
source

Très bonne réponse! Une question: pourquoi écrivez-vous «… si sa variance change sur un paramètre…» ne devrait-il pas s'agir de changements sur une variable (ou fonction d'une variable)?

— Alexis

@Alexis Je faisais référence au temps comme paramètre du modèle. Vous avez raison, ce langage est imprécis. Fixé. Je vous remercie. :-)

— ido

Comment la variance de AR (1) change-t-elle?

— Aksakal

V a r [ε_{t}]

$Var[\varepsilon_t]$

σ^{2}

$\sigma^2$

V a r [X_{t}] = t σ^{2}

$Var[X_t] = t\sigma^2$

X_{t} = α + X_{t - 1} + ε_{t}

$X_t = \alpha + X_{t-1} + \varepsilon_t$

ε_{t} \sim N (0, σ^{2})

$\varepsilon_t \sim N(0, \sigma^2)$

A R (1)

$AR(1)$ fait référence au modèle décrit comme tel par Ken T.)

— ido

V a r [X_{t}] = V a r [X_{t - 1}] + V a r [ε_{t}] = \sum_{i = 1}^{t} V a r [ε_{i}] = t σ^{2}

$Var[X_t] = Var[X_{t-1}] + Var[\varepsilon_t] = \sum_{i=1}^{t} Var[\varepsilon_i] = t\sigma^2$

V a r [ε_{i}] = σ^{2}

$Var[\varepsilon_i] = \sigma^2$

ε_{t}

$\varepsilon_t$

ε_{t}

$\varepsilon_t$

C o v [X_{t}, X_{t - 1}] = 0

$Cov[X_t, X_{t-1}] = 0$

Quelques définitions informelles

- $y(t) = 2t$
- $y(t) = e^t$
$\{Y_t\}$ $\Omega$ $Y(t,\omega)$ $t$ $\omega$ $\Omega$
- $y_t = \epsilon_t$ $\epsilon_t \sim \mathcal{N}(0, 1)$
- $y_t = .7 y_{t-1} + \epsilon_t$
$\omega$ $\Omega$ $\omega \in \Omega$ $Y_t(\omega)$

Certains commentaires...

... la raison pour laquelle AR (1) est appelé modèle stochastique est que sa variance augmente avec le temps.

$t$

$\epsilon_t$

$x_t$ $x_t = \alpha t + \epsilon_t$ $\{\epsilon_t\}$ $\{x_t\}$

$y_t = \alpha t$ $\{x_t\}$ $\alpha t$ $\epsilon_t$

Cela conduit au théorème de Wold selon lequel tout processus stationnaire de covariance peut être décomposé de manière unique en une composante déterministe et une composante stochastique.

— Matthew Gunn
source