Test de différence significative dans les ratios de variables aléatoires normalement distribuées

9

Lié à l' analyse des ratios de variables et comment paramétrer le ratio de deux variables normalement distribuées, ou l'inverse d'une? .

Supposons que je dispose d'un certain nombre d'échantillons provenant de quatre distributions aléatoires continues différentes, que nous pouvons tous supposer être à peu près normales. Dans mon cas, cela correspond à certaines mesures de performances de deux systèmes de fichiers différents (par exemple, ext4 et XFS), avec et sans cryptage. La métrique peut être, par exemple, le nombre de fichiers créés par seconde, ou la latence moyenne pour certaines opérations sur les fichiers. Nous pouvons supposer que tous les échantillons tirés de ces distributions seront toujours strictement positifs. Appelons ces distributions où et . $\textrm{Perf}_{fstype,encryption}$ $fstype \in \{xfs,ext4\}$ $encryption \in \{crypto,nocrypto\}$

Maintenant, mon hypothèse est que le cryptage ralentit l'un des systèmes de fichiers d'un facteur plus important que l'autre. Existe-t-il un test simple pour l'hypothèse ? $\frac{E[\textrm{Perf}_{xfs,crypto}]}{E[\textrm{Perf}_{xfs,nocrypto}]} < \frac{E[\textrm{Perf}_{ext4,crypto}]}{E[\textrm{Perf}_{ext4,nocrypto}]}$

distributions hypothesis-testing statistical-significance

— Sami Liedes
source

Certains textes semblent avoir été supprimés au milieu de cette question. Pensez-vous que vous pourriez le restaurer?

— whuber

Je pense que le "Ainsi, le" a été laissé là par erreur, du moins je ne peux pas penser ce que j'aurais voulu ajouter à cela. C'est probablement quelque chose que j'ai finalement déplacé vers le deuxième paragraphe.

— Sami Liedes

Vous pouvez adapter un modèle linéaire généralisé pour une distribution normale avec une fonction de liaison de journal.

— onestop

1

Le "nombre de fichiers" et la "latence moyenne" ne peuvent pas être distribués normalement (ni l'un ni l'autre ne peuvent être négatifs pour un début). Les deux sont probablement quelque peu asymétriques. Le nombre de fichiers est un décompte discret.

— Glen_b -Reinstate Monica

12

Une alternative à la bonne réponse de StasK est d'utiliser un test de permutation. La première étape consiste à définir une statistique de test , peut-être: $T$

$T = \frac{\widehat{Perf}_{ext4,crypto}}{\widehat{Perf}_{ext4,nocrypto}} - \frac{\widehat{Perf}_{xfs,crypto}}{\widehat{Perf}_{xfs,nocrypto}}$

où est, peut-être, la moyenne de l'échantillon des observations de , etc. (Cela correspond à votre définition de l'hypothèse comme le rapport des attentes plutôt que la possibilité alternative de l'attente du rapport - quelle alternative peut être ce que vous voulez vraiment.) La deuxième étape consiste à permuter au hasard les étiquettes $\widehat{Perf}_{ext4,crypto}$ $\text{Perf}_{ext4,crypto}$ dans les données plusieurs fois, disons , et calculez pour chaque permutation. La dernière étape consiste à comparer votre origineavec le observé; la p-valeur de permutation estimée serait la fraction du . $ext4, \space xfs$ $i=1, \dots, 10000$ $T_i$ $T$ $T_i$ $T_i \leq T$

Le test de permutation vous libère de la dépendance aux asymptotiques, mais bien sûr, en fonction de la taille de votre échantillon (et des données aussi, bien sûr), la méthode delta, que j'utilise également à l'occasion, peut très bien fonctionner.

— jbowman
source

C'est aussi une bonne suggestion!

— StasK

Notez que le rapport de deux variables normales centrées est une variable de Cauchy.

— Xi'an

1

@ Xi'an: Est-il clair que nous pouvons supposer qu'ils sont indépendants ici? Comme vous le savez, cela serait nécessaire pour que ce résultat soit valable (et ait une chance d'être utile).

— cardinal

@cardinal: oui, en effet, ils devraient être indépendants!

— Xi'an

1

En tant que point technique très snob - la permutation fonctionne un peu mieux lorsque votre statistique de test est cruciale / n'implique pas de paramètres inconnus / est stabilisée par la variance ... au moins sous le zéro. Avec des proportions, vous pouvez effectuer une transformation arc sin. Avec des quantités continues strictement positives, je commencerais probablement par des journaux. Mais c'est vraiment la cerise sur le gâteau.

— StasK

4

Vous pouvez calculer l'erreur standard (asymptotique) du rapport en utilisant la méthode delta . Si vous avez deux variables aléatoires et telles que $X$ $Y$ en distribution (ce qui serait le cas si vous disposez de données indépendantes, mais cela vaut également dans un cas plus général de données en cluster lorsque vous exécutez vos tests sur différentes machines), alors pour le rapport

\sqrt{n} (\begin{matrix} \bar{X} - μ_{X} \\ \bar{Oui} - μ_{Oui} \end{matrix}) \to N ((\begin{matrix} 0 \\ 0 \end{matrix}), (\begin{array}{cc} σ_{X X} & σ_{X Oui} \\ σ_{X Oui} & σ_{Oui Oui} \end{array}))

$\sqrt{n}\left(\begin{array}{c} \bar X-\mu_X \\ \bar Y-\mu_Y\end{array}\right) \rightarrow N\left( \left( \begin{array}{c} 0 \\ 0 \end{array}\right), \left( \begin{array}{cc} \sigma_{XX} & \sigma_{XY} \\ \sigma_{XY} & \sigma_{YY} \end{array} \right) \right)$

r = \bar{Y} / \bar{X}

$r=\bar Y/\bar X$ avec l'analogue de population de

, on a

r_{o} = μ_{Y} / μ_{X}

$r_o = \mu_Y/\mu_X$

Si

et

sont indépendants, comme il pourrait être raisonnable de supposer dans votre cas, alors cette expression se simplifie quelque peu en supprimant

, nous obtenons donc que lescoefficients de variationau carré serésument:

\sqrt{n} (r - r_{0}) \to N (0, \frac{μ_{Oui}^{2}}{μ_{X}^{4}} σ_{X X} - 2 \frac{μ_{Oui}}{μ_{X}^{3}} σ_{X Oui} + \frac{1}{μ_{X}^{2}} σ_{Oui Oui})

$\sqrt{n}(r-r_0) \to N(0,\frac{\mu_Y^2}{\mu_X^4}\sigma_{XX} - 2\frac{\mu_Y}{\mu_X^3}\sigma_{XY} + \frac1{\mu_X^2}\sigma_{YY})$

X

$X$

Y

$Y$

σ_{X Y}

$\sigma_{XY}$

{C V}^{2} [r] = {C V}^{2} [\bar{X}] + {C V}^{2} [\bar{Oui}]

${\rm CV}^2[r] = {\rm CV}^2[\bar X] + {\rm CV}^2[\bar Y]$ Il présente l'avantage supplémentaire que les tailles d'échantillon peuvent être différentes. De plus, si vos RHS et LHS sont indépendants, vous pouvez former la statistique de test

pour

aucune différence en prenant la différence des ratios et en la divisant par l'erreur-type correspondante obtenue à partir de ces CV.

z

$z$

H_{0} :

$H_0:$

J'espère que vous pourrez le prendre à partir de là et effectuer le reste des calculs d'enveloppe pour obtenir la formule finale.

$r$ $r_0$ $O(1/n)$ $O(1/\sqrt{n})$

— StasK
source

Merci pour l'excellente et éclairante réponse! Je pense que je vais choisir le test de permutation de jbowban pour mes études parce que je pense que je le comprends mieux et ses limites, mais la méthode delta ressemble définitivement à quelque chose que j'ai besoin d'étudier et de comprendre.

— Sami Liedes

@stask cela pourrait-il être fait ici? stats.stackexchange.com/questions/398436/…

— Xavier Bourret Sicotte

Xavier, je pense que @ usεr11852 a donné une bonne réponse. Je ne prendrai pas la peine d'ajouter à cela.

— StasK

@StasK - dans quelles conditions les conditions que vous indiquez dans votre réponse sont-elles valables? La convergence de la statistique de rapport est-elle garantie par l'hypothèse précédente et la méthode Delta?

— Xavier Bourret Sicotte

C'est asymptotique ... rien n'est jamais garanti et les limites d'erreur sont difficiles à impossibles à obtenir. Tout ce que la méthode delta (ou tout autre résultat de convergence faible) dit, c'est que lorsque vous augmentez la taille de l'échantillon, la différence entre la distribution réelle de l'échantillon fini et la distribution asymptotique diminuera. Cela peut signifier que lorsque vous augmentez la taille de l'échantillon de 1000 à 10000, la différence verticale entre les cdfs passe de 0,2 à 0,1, et cette dernière est toujours inacceptable pour des raisons pratiques. Ou cela peut signifier que la différence passe de 0,01 à 0,001.

— StasK

0

Le rapport des variables normales est distribué Cauchy. Sachant cela, vous pouvez simplement effectuer un test du facteur Bayes.

C'était une idée plutôt spontanée. Je ne suis plus sûr du mécanisme de génération de données. Installez-vous différents systèmes de fichiers sur le même PC, puis comparez-les pour les deux cas, afin de pouvoir assumer une structure de données hiérarchique?

De plus, je ne suis pas sûr que les ratios de recherche aient un sens.

Et puis vous avez écrit le ratio des valeurs attendues, alors que je pensais à la valeur attendue des ratios. Je suppose que j'ai besoin de plus d'informations sur la génération de données avant de continuer.

— joint_p
source

1

Le rapport des normales n'est de Cauchy que si (a) elles sont indépendantes et (b) ont la même variance.

— cardinal

Xi'an avait la même pensée, je suppose ...

— joint_p

1

Il n'est pas clair (du moins pour moi) qu'une telle structure d'indépendance existe ou qu'elle aura une moyenne nulle. Peut-être que si vous pouvez développer votre réponse, cela aidera à clarifier l'approche que vous proposez. :)

— cardinal

1

@cardinal - Je pensais que c'était un rapport de normales indépendantes avec une moyenne nulle était cauchy avec une médiane nulle et un paramètre d'échelle égal au rapport des écarts-types normaux. S'ils ont une moyenne non nulle, ce n'est pas cauchy.

— probabilislogic

@prob: (+1) Vous avez raison! Merci d'avoir attrapé ça. J'ai abandonné la "norme" et la "moyenne zéro" dans mon premier commentaire (ce dernier a réussi à en faire mon deuxième).

— cardinal

0

Dans les cas où vous ne pouvez pas effectuer de permutations, par exemple lorsque la taille de l'échantillon crée des millions de possibilités, une autre solution serait le rééchantillonnage Monte Carlo.

$ext4$ $xfs$ $nocrypto$ $crypto$ $\frac{ext4}{xfs}$ $nocrypto$ $crypto$

$H_{0}:T_{observed}=\frac{\sum x_{nocrypto} }{n_{nocrypto}}-\frac{\sum x_{crypto} }{n_{crypto}}=0$

$x=\frac{ext4}{xfs}$

$n=sample\, size$

$H_{0}$ $nocrypto$ $crypto$ $T_{observed}=0$

$T_{resampling}=\frac{x_{1}^{random}{+ x}_{n}^{random}}{n_{nocrypto}}-\frac{x_{1}^{random}{+ x}_{n}^{random}}{n_{crypto}}$

$T_{resampling}$ $H_{0}$ $nocrypto$ $crypto$ $T_{observed}$ $(p < 0.05)$ $T_{resampling}$

— user1979481
source