J'ai deux 2 heures de données GPS avec un taux d'échantillonnage de 1 Hz (7200 mesures). Les données sont données sous la forme $(X, X_\sigma, Y, Y_\sigma, Z, Z_\sigma)$ , où $N_\sigma$ est l'incertitude de mesure.

Lorsque je prends la moyenne de toutes les mesures (par exemple, la valeur Z moyenne de ces deux heures), quel est son écart-type? Je peux bien sûr calculer l'écart type à partir des valeurs Z, mais je néglige ensuite le fait qu'il existe des incertitudes de mesure connues ...

Modifier: les données proviennent toutes de la même station et toutes les coordonnées sont réévaluées toutes les secondes. En raison des constellations de satellites, etc., chaque mesure présente une incertitude différente. Le but de mon analyse est de trouver le déplacement dû à un événement externe (ie un tremblement de terre). Je voudrais prendre la moyenne pour 7200 mesures (2h) avant le tremblement de terre et une autre moyenne pour 2h après le tremblement de terre, puis calculer la différence résultante (en hauteur par exemple). Afin de préciser l'écart type de cette différence, j'ai besoin de connaître l'écart type des deux moyennes.

Je soupçonne que les réponses précédentes à cette question peuvent être un peu décalées. Il me semble que ce que l'affiche originale est vraiment demande ici pourrait être reformulée comme « étant donné une série de mesures de vecteur: avec i = 1 , 2 , 3 , . . . , 7200 et covariance de mesure : C i = ( X 2 σ , i 0 0 0

$$\vec{\theta}_{i} = \left( \begin{array}{c} X_{i} \\ Y_{i} \\ Z_{i} \end{array}\right)$$ $i=1, 2, 3,...,7200$comment calculer correctement la moyenne pondérée par la covariance pour cette série de mesures vectorielles, et ensuite, comment calculer correctement son écart-type? "La réponse à cette question peut être que l'on trouve dans de nombreux manuels spécialisés dans les statistiques des sciences physiques. Un exemple que j'aime particulièrement est Frederick James,"Statistical Methods in Experimental Physics" $$C_{i} = \left( \begin{array}{ccc} X_{\sigma,i}^{2} & 0 & 0 \\ 0 & Y_{\sigma,i}^{2} & 0 \\ 0 & 0 & Z_{\sigma,i}^{2} \end{array} \right)$$ , 2e édition, World Scientific, 2006, section 11.5.2, «Combiner des estimations indépendantes», p. 323-324. Un autre très bon texte, mais plus introductif, qui décrit le calcul de la moyenne pondérée par la variance pour les valeurs scalaires (par opposition aux quantités vectorielles complètes présentées ci-dessus) est Philip R. Bevington et D. Keith Robinson, «Data Reduction and Error Analysis for the Physical Sciences " , 3e édition, McGraw-Hill, 2003, Section 4.1.x," Pondération des données - Incertitudes non uniformes ". Parce que la question de l'affiche se trouvait avoir une diagonalisationmatrice de covariance dans ce cas (c'est-à-dire que tous les éléments hors diagonale sont nuls), le problème est en fait séparable en trois problèmes moyens pondérés scalaires individuels (c'est-à-dire X, Y, Z), donc l'analyse de Bevington et Robinson s'applique également ici aussi.

En général, lorsque je réponds aux questions de stackexchange.com, je ne trouve normalement pas utile de reconditionner de longues dérivations qui ont déjà été présentées auparavant dans de nombreux manuels - si vous voulez vraiment comprendre le matériel et comprendre pourquoi les réponses semblent comme ils le font, alors vous devriez vraiment aller lire les explications qui ont déjà été publiées par les auteurs du manuel. Dans cet esprit, je vais simplement passer directement à la reformulation des réponses que d'autres ont déjà fournies. D'après Frederick James, en fixant , la moyenne pondérée est: → θ m e a n = ( N ∑ i = 1$N=7200$et la covariance de la moyenne pondérée est:Cmean=( N ∑ i=1C - 1 i )-1 Cette réponse est tout à fait général et sera valable quelle que soit la forme duCi, même pour les matrices de covariance de mesure non diagonales.

$$\vec{\theta}_{mean} = \left( \sum_{i=1}^{N} C_{i}^{-1} \right)^{-1} \left( \sum_{i=1}^{N} C_{i}^{-1} \vec{\theta_{i}} \right)$$ $$C_{mean} = \left( \sum_{i=1}^{N} C_{i}^{-1} \right)^{-1}$$ $C_{i}$

$X_{i}$$Y_{i}$$Z_{i}$

$$X_{mean} = \frac{\sum_{i=1}^{N} \frac{X_{i}}{X_{\sigma,i}^{2}}}{\sum_{i=1}^{N} \frac{1}{X_{\sigma,i}^{2}}}$$ $$X_{\sigma,mean}^{2} = \frac{1}{\sum_{i=1}^{N} \frac{1}{X_{\sigma,i}^{2}}}$$ $$X_{\sigma,mean} = \sqrt{\frac{1}{\sum_{i=1}^{N} \frac{1}{X_{\sigma,i}^{2}}}}$$ and similarly for $Y_{mean}, Y_{\sigma, mean}$ and $Z_{mean}, Z_{\sigma, mean}$. A brief wikipedia entry which also arrives at this same answer for the scalar-valued case is available here.

This should be easily solved using bayesian inference. You know the measurement properties of the individual points with respect to their true value and want to infer the population mean and SD that generated the true values. This is a hierarchical model.

Rephrasing the problem (Bayes basics)

Note that whereas orthodox statistics give you a single mean, in the bayesian framework you get a distribution of credible values of the mean. E.g. the observations (1, 2, 3) with SDs (2, 2, 3) could have been generated by the Maximum Likelihood Estimate of 2 but also by a mean of 2.1 or 1.8, though slightly less likely (given the data) than the MLE. So in addition to the SD, we also infer the mean.

Another conceptual difference is that you have to define your knowledge state before making the observations. We call this priors. You might know in advance that a certain area was scanned and in a certain height range. The complete absence of knowledge would be to have uniform(-90, 90) degrees as the prior in X and Y and maybe uniform(0, 10000) meters on height (above the ocean, below the highest point on earth). You have to define priors distributions for all parameters that you want to estimate, i.e. get posterior distributions for. This is true for the standard deviation as well.

Donc, reformulant votre problème, je suppose que vous voulez déduire des valeurs crédibles pour trois moyennes (X.mean, Y.mean, X.mean) et trois écarts types (X.sd, Y.sd, X.sd) qui pourraient avoir généré vos données.

Le modèle

En utilisant la syntaxe BUGS standard (utilisez WinBUGS, OpenBUGS, JAGS, stan ou d'autres packages pour exécuter cela), votre modèle ressemblerait à ceci:

  model {
    # Set priors on population parameters
    X.mean ~ dunif(-90, 90)
    Y.mean ~ dunif(-90, 90)
    Z.mean ~ dunif(0, 10000)
    X.sd ~ dunif(0, 10)  # use something with better properties, i.e. Jeffreys prior.
    Y.sd ~ dunif(0, 10)
    Z.sd ~ dunif(0, 100)

    # Loop through data (or: set up plates)
    # assuming observed(x, sd(x), y, sd(y) z, sd(z)) = d[i, 1:6]
    for(i in 1:n.obs) {
      # The true value was generated from population parameters
      X[i] ~ dnorm(X.mean, X.sd^-2)  #^-2 converts from SD to precision
      Y[i] ~ dnorm(Y.mean, Y.sd^-2)
      Z[i] ~ dnorm(Z.mean, Z.sd^-2)

      # The observation was generated from the true value and a known measurement error
      d[i, 1] ~ dnorm(X[i], d[i, 2]^-2)  #^-2 converts from SD to precision
      d[i, 3] ~ dnorm(Y[i], d[i, 4]^-2)
      d[i, 5] ~ dnorm(Z[i], d[i, 6]^-2)
    }
  }

Naturellement, vous surveillez les paramètres .mean et .sd et utilisez leurs éléments postérieurs pour l'inférence.

Simulation

J'ai simulé des données comme celle-ci:

# Simulate 500 data points
x = rnorm(500, -10, 5)  # mean -10, sd 5
y = rnorm(500, 20, 5)  # mean 20, sd 4
z = rnorm(500, 2000, 10)  # mean 2000, sd 10
d = cbind(x, 0.1, y, 0.1, z, 3)  # added constant measurement errors of 0.1 deg, 0.1 deg and 3 meters
n.obs = dim(d)[1]

Puis a exécuté le modèle en utilisant JAGS pour 2000 itérations après un burnin de 500 itérations. Voici le résultat pour X.sd.

La plage bleue indique l'intervalle de densité postérieure ou crédible le plus élevé à 95% (où vous pensez que le paramètre est après avoir observé les données. Notez qu'un intervalle de confiance orthodoxe ne vous donne pas cela).

The red vertical line is the MLE estimate of the raw data. It is usually the case that the most likely parameter in Bayesian estimation is also the most likely (maximum likelihood) parameter in orthodox stats. But you should not care too much about the top of the posterior. The mean or median is better if you want to boil it down to a single number.

Notice that MLE/top is not at 5 because the data were randomly generated, not because of wrong stats.

Limitiations

This is a simple model which has several flaws currently.

1. It doesn't handle the identity of -90 and 90 degrees. This can be done, however, by making some intermediate variable which shifts extreme values of estimated parameters into the (-90, 90) range.
2. X, Y et Z sont actuellement modélisés comme indépendants bien qu'ils soient probablement corrélés et cela devrait être pris en compte pour tirer le meilleur parti des données. Cela dépend si l'appareil de mesure était en mouvement (la corrélation en série et la distribution conjointe de X, Y et Z vous donneront beaucoup d'informations) ou immobile (l'indépendance est ok). Je peux développer la réponse pour approcher cela, si demandé.

Je dois mentionner qu'il y a beaucoup de littérature sur les modèles spatiaux bayésiens que je ne connais pas.

J'introduis d'abord une notation et j'installe le problème en utilisant l'approche simple que vous avez mentionnée. Allez plus loin. j'utiliserai$\mathbf{z}$ pour faire référence au vecteur Z que vous avez donné.

Considérez le modèle suivant, qui n'a pas l'erreur de mesure de mention explicite: $\bar{Z} = \frac{\sum_{i=1}^n\mu_{Z} + \epsilon_i}{n}$, où $\bar{Z}$ est la valeur moyenne estimée de $\mathbf{z}$, et $\mu_Z$ est la vraie valeur moyenne de Z. Ici, $\mathbf{\epsilon}$ est un vecteur des erreurs dans vos données, et vous vous attendez à ce que si votre échantillon est grand $\bar{Z}$ va converger vers $\mu_Z$. Si vous prenez simplement le$Z$ valeurs et les moyenne, vous obtenez $\bar{Z}$ et si vous calculez l'écart type d'échantillon que vous obtenez $\hat{\sigma}$, l'estimation de l'écart-type réel de la population $\sigma$. Que faire si vous souhaitez utiliser certaines connaissances sur l'erreur de mesure?

Tout d'abord, notons que nous pouvons reformuler le modèle initial comme suit: $\mathbf{z} = \mathbf{1}\beta + \epsilon$, où $\mathbf{1}$ est un vecteur de uns, et $\beta$ finira par être $\bar{Z}$. Maintenant, cela ressemble vraiment à une régression, mais nous obtenons toujours une estimation de$\mu_Z$. Si nous effectuons une régression comme celle-ci, nous obtiendrons également une estimation de l'erreur-type de$\epsilon$, ce qui est presque ce que nous voulons - ce n'est rien d'autre que l'erreur standard de $\mathbf{z}$ (mais nous voulons toujours tenir compte de l'erreur de mesure).

Nous pouvons augmenter notre modèle initial pour obtenir un modèle à effets mixtes. $\mathbf{z} = \mathbf{1}\beta + \mathbf{Q}u +\epsilon$, où $u$ est un vecteur d'effets aléatoires, et $\mathbf{Q}$ est le régresseur relatif $\mathbf{z}$ à $u$. Comme pour tout effet aléatoire, vous devrez faire une hypothèse sur la distribution de$u$. Est-il exact que$Z_\sigma$ est la distribution de l'erreur de mesure pour $\mathbf{z}$? Si oui, cela peut être utilisé pour fournir la distribution des effets aléatoires. Généralement, un logiciel pour effectuer une modélisation de base des effets mixtes supposera que les effets aléatoires ont une distribution normale (avec une moyenne de 0 ...) et estimera la variance pour vous. Vous pouvez peut-être essayer ceci pour tester le concept. Si vous souhaitez utiliser vos informations préalables sur la distribution de l'erreur de mesure, un modèle bayésien d'effets mixtes s'impose. Vous pouvez utiliser R2OpenBUGS.

Après avoir estimé ce modèle, l'erreur standard que vous obtenez pour les résidus $\epsilon$est l'erreur standard qui vous intéresse. Intuitivement, la composante des effets aléatoires du modèle absorbe une partie de la variation que vous pouvez expliquer parce que vous savez qu'il y a une erreur de mesure. Cela vous permet d’obtenir une estimation plus pertinente de la variation de$\epsilon$

Voir cet article pour une discussion plus approfondie sur cette approche des effets aléatoires pour tenir compte des erreurs de mesure. Votre situation est similaire à celle présentée par les auteurs pour$\mathbf{D}$ et son erreur de mesure version corrompue $\mathbf{W}$. L'exemple de la section 4 peut donner un aperçu de votre situation.

Comme mentionné par whuber, vous souhaiterez peut-être tenir compte de l'autocorrélation dans vos données. L'utilisation d'effets aléatoires ne résoudra pas ce problème.