Reproduire la figure de «l'inférence statistique de l'âge de l'ordinateur» d'Efron et Hastie

La version résumée de ma question

(26 décembre 2018)

J'essaie de reproduire la figure 2.2 de l' inférence statistique de l'âge de l' ordinateur par Efron et Hastie, mais pour une raison que je ne peux pas comprendre, les chiffres ne correspondent pas à ceux du livre.

Supposons que nous essayons de décider entre deux fonctions de densité de probabilité possibles pour les données observées , une densité d'hypothèse nulle et une densité alternative . Une règle de test dit quel choix, ou , nous ferons après avoir observé les données . Toute règle de ce type a deux probabilités d'erreur fréquentiste associées: choisir alors que réellement généré , et vice versa, $x$ $f_0\left(x\right)$ $f_1\left(x\right)$ $t\left(x\right)$ $0$ $1$ $x$ $f_1$ $f_0$ $x$

α = {Pr}_{F_{0}} {t (X) = 1},

$\alpha = \text{Pr}_{f_0} \{t(x)=1\},$

β = {Pr}_{F_{1}} {t (X) = 0} .

$\beta = \text{Pr}_{f_1} \{t(x)=0\}.$

Soit le rapport de vraisemblance , $L(x)$

L (X) = \frac{F_{1} (X)}{F_{0} (X)}

$L(x) = \frac{f_1\left(x\right)}{f_0\left(x\right)}$

Ainsi, le lemme de Neyman – Pearson dit que la règle de test de la forme est l'algorithme de test d'hypothèse optimal $t_c(x)$

t_{c} (X) = {\begin{cases} 1 si journal L (X) \geq c \\ 0 si journal L (X) < c . \end{cases}

$t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if log } L(x) \ge c\\ 0\enspace\text{if log } L(x) \lt c.\end{array} \right.$

Pour , et la taille de l'échantillon quelles seraient les valeurs pour et pour une coupure ? $f_0 \sim \mathcal{N} \left(0,1\right), \enspace f_1 \sim \mathcal{N} \left(0.5,1\right)$ $n=10$ $\alpha$ $\beta$ $c=0.4$

À partir de la figure 2.2 de l' inférence statistique de l'ère informatique par Efron et Hastie, nous avons:
- $\alpha=0.10$ et pour une coupure $\beta=0.38$ $c=0.4$
J'ai trouvé et pour un seuil de coupure utilisant deux approches différentes: A) simulation et B) analytiquement . $\alpha=0.15$ $\beta=0.30$ $c=0.4$

J'apprécierais que quelqu'un m'explique comment obtenir et pour un seuil de coupure . Merci. $\alpha=0.10$ $\beta=0.38$ $c=0.4$

La version résumée de ma question se termine ici. A partir de maintenant, vous trouverez:

Dans la section A) les détails et le code python complet de mon approche de simulation .
Dans la section B) les détails et le code python complet de l' approche analytique .

A) Mon approche de simulation avec code python complet et explications

(20 décembre 2018)

Du livre ...

Dans le même esprit, le lemme de Neyman – Pearson fournit un algorithme de test d'hypothèse optimal. C'est peut-être la plus élégante des constructions fréquentistes. Dans sa formulation la plus simple, le lemme NP suppose que nous essayons de décider entre deux fonctions de densité de probabilité possibles pour les données observées , une densité d'hypothèse nulle et une densité alternative . Une règle de test dit quel choix, ou , nous ferons après avoir observé les données . Une telle règle a deux probabilités d'erreur fréquentiste associées: choisir lorsque réellement généré $x$ $f_0\left(x\right)$ $f_1\left(x\right)$ $t\left(x\right)$ $0$ $1$ $x$ $f_1$ , et vice versa,

$α = {Pr}_{F_{0}} {t (X) = 1},$ $\alpha = \text{Pr}_{f_0} \{t(x)=1\},$ $β = {Pr}_{F_{1}} {t (X) = 0} .$ $\beta = \text{Pr}_{f_1} \{t(x)=0\}.$

Soit le rapport de vraisemblance , $L(x)$

$L (X) = \frac{F_{1} (X)}{F_{0} (X)}$ $L(x) = \frac{f_1\left(x\right)}{f_0\left(x\right)}$

(Source: Efron, B. et Hastie, T. (2016). Computer Age Statistical Inference: Algorithms, Evidence, and Data Science. Cambridge: Cambridge University Press. )

J'ai donc implémenté le code python ci-dessous ...

import numpy as np

def likelihood_ratio(x, f1_density, f0_density):
    return np.prod(f1_density.pdf(x)) / np.prod(f0_density.pdf(x))

Encore une fois, du livre ...

et définir la règle de test par

$t_{c} (X) = {\begin{cases} 1 si journal L (X) \geq c \\ 0 si journal L (X) < c . \end{cases}$ $t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if log } L(x) \ge c\\ 0\enspace\text{if log } L(x) \lt c.\end{array} \right.$

(Source: Efron, B. et Hastie, T. (2016). Computer Age Statistical Inference: Algorithms, Evidence, and Data Science. Cambridge: Cambridge University Press. )

J'ai donc implémenté le code python ci-dessous ...

def Neyman_Pearson_testing_rule(x, cutoff, f0_density, f1_density):
    lr = likelihood_ratio(x, f1_density, f0_density)
    llr = np.log(lr)

    if llr >= cutoff:
        return 1
    else:
        return 0

Enfin, du livre ...

Où il est possible de conclure qu'un seuil de coupure impliquera et . $c=0.4$ $\alpha=0.10$ $\beta=0.38$

J'ai donc implémenté le code python ci-dessous ...

def alpha_simulation(cutoff, f0_density, f1_density, sample_size, replicates):
    NP_test_results = []

    for _ in range(replicates):
        x = f0_density.rvs(size=sample_size)
        test = Neyman_Pearson_testing_rule(x, cutoff, f0_density, f1_density)
        NP_test_results.append(test)

    return np.sum(NP_test_results) / float(replicates)

def beta_simulation(cutoff, f0_density, f1_density, sample_size, replicates):
    NP_test_results = []

    for _ in range(replicates):
        x = f1_density.rvs(size=sample_size)
        test = Neyman_Pearson_testing_rule(x, cutoff, f0_density, f1_density)
        NP_test_results.append(test)

    return (replicates - np.sum(NP_test_results)) / float(replicates)

et le code ...

from scipy import stats as st

f0_density = st.norm(loc=0, scale=1)
f1_density = st.norm(loc=0.5, scale=1)

sample_size = 10
replicates = 12000

cutoffs = []
alphas_simulated = []
betas_simulated = []
for cutoff in np.arange(3.2, -3.6, -0.4):
    alpha_ = alpha_simulation(cutoff, f0_density, f1_density, sample_size, replicates)
    beta_ = beta_simulation(cutoff, f0_density, f1_density, sample_size, replicates)

    cutoffs.append(cutoff)
    alphas_simulated.append(alpha_)
    betas_simulated.append(beta_)

et le code ...

import matplotlib.pyplot as plt
%matplotlib inline

# Reproducing Figure 2.2 from simulation results.
plt.xlabel('$\\alpha$')
plt.ylabel('$\\beta$')
plt.xlim(-0.1, 1.05)
plt.ylim(-0.1, 1.05)
plt.axvline(x=0, color='b', linestyle='--')
plt.axvline(x=1, color='b', linestyle='--')
plt.axhline(y=0, color='b', linestyle='--')
plt.axhline(y=1, color='b', linestyle='--')
figure_2_2 = plt.plot(alphas_simulated, betas_simulated, 'ro', alphas_simulated, betas_simulated, 'k-')

pour obtenir quelque chose comme ça:

qui ressemble à la figure originale du livre, mais les 3-tuples de ma simulation ont des valeurs différentes de et par rapport à celles du livre pour la même coupure . Par exemple: $(c,\alpha,\beta)$ $\alpha$ $\beta$ $c$

du livre que nous avons $(c=0.4, \alpha=0.10, \beta=0.38)$
de ma simulation, nous avons:
- $(c=0.4, \alpha=0.15, \beta=0.30)$
- $(c=0.8, \alpha=0.10, \beta=0.39)$

Il semble que le seuil de coupure de ma simulation soit équivalent au seuil de coupure du livre. $c=0.8$ $c=0.4$

J'apprécierais que quelqu'un m'explique ce que je fais mal ici. Merci.

B) Mon approche de calcul avec code python complet et explications

(26 décembre 2018)

Toujours en essayant de comprendre la différence entre les résultats de ma simulation ( alpha_simulation(.), beta_simulation(.)) et ceux présentés dans le livre, avec l'aide d'un de mes amis statisticien (Sofia), nous avons calculé et analytiquement au lieu de via la simulation, donc .. . $\alpha$ $\beta$

Une fois que

F_{0} \sim N (0, 1)

$f_0 \sim \mathcal{N} \left(0,1\right)$

F_{1} \sim N (0,5, 1)

$f_1 \sim \mathcal{N} \left(0.5,1\right)$

puis

F (X | μ, σ^{2}) = \prod_{je = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{{(X_{je} - μ)}^{2}}{2 σ^{2}}}

$f\left(x \;\middle\vert\; \mu, \sigma^2 \right) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(x_i-\mu\right)^2}{2\sigma^2}}$

De plus,

L (X) = \frac{F_{1} (X)}{F_{0} (X)}

$L(x) = \frac{f_1\left(x\right)}{f_0\left(x\right)}$

donc,

L (X) = \frac{F_{1} (X | μ_{1}, σ^{2})}{F_{0} (X | μ_{0}, σ^{2})} = \frac{\prod_{je = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{{(X_{je} - μ_{1})}^{2}}{2 σ^{2}}}}{\prod_{je = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{{(X_{je} - μ_{0})}^{2}}{2 σ^{2}}}}

$L(x) = \frac{f_1\left(x\;\middle\vert\; \mu_1, \sigma^2\right)}{f_0\left(x\;\middle\vert\; \mu_0, \sigma^2\right)} = \frac{\prod_{i = 1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(x_i-\mu_1\right)^2}{2\sigma^2}}}{\prod_{i = 1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(x_i-\mu_0\right)^2}{2\sigma^2}}}$

Par conséquent, en effectuant quelques simplifications algébriques (comme ci-dessous), nous aurons:

L (X) = \frac{{(\frac{1}{\sqrt{2 π σ^{2}}})}^{n} e^{- \frac{\sum_{je = 1}^{n} {(X_{je} - μ_{1})}^{2}}{2 σ^{2}}}}{{(\frac{1}{\sqrt{2 π σ^{2}}})}^{n} e^{- \frac{\sum_{je = 1}^{n} {(X_{je} - μ_{0})}^{2}}{2 σ^{2}}}}

$L(x) = \frac{\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n e^{-\frac{\sum_{i = 1}^{n} \left(x_i-\mu_1\right)^2}{2\sigma^2}}}{\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n e^{-\frac{\sum_{i = 1}^{n} \left(x_i-\mu_0\right)^2}{2\sigma^2}}}$

= e^{\frac{- \sum_{je = 1}^{n} {(X_{je} - μ_{1})}^{2} + \sum_{je = 1}^{n} {(X_{je} - μ_{0})}^{2}}{2 σ^{2}}}

$= e^{\frac{-\sum_{i = 1}^{n} \left(x_i-\mu_1\right)^2 + \sum_{i = 1}^{n} \left(x_i-\mu_0\right)^2}{2\sigma^2}}$

= e^{\frac{- \sum_{je = 1}^{n} (X_{je}^{2} - 2 X_{je} μ_{1} + μ_{1}^{2}) + \sum_{je = 1}^{n} (X_{je}^{2} - 2 X_{je} μ_{0} + μ_{0}^{2})}{2 σ^{2}}}

$= e^{\frac{-\sum_{i = 1}^{n} \left(x_i^2 -2x_i\mu_1 + \mu_1^2\right) + \sum_{i = 1}^{n} \left(x_i^2 -2x_i\mu_0 + \mu_0^2\right)}{2\sigma^2}}$

= e^{\frac{- \sum_{je = 1}^{n} X_{je}^{2} + 2 μ_{1} \sum_{je = 1}^{n} X_{je} - \sum_{je = 1}^{n} μ_{1}^{2} + \sum_{je = 1}^{n} X_{je}^{2} - 2 μ_{0} \sum_{je = 1}^{n} X_{je} + \sum_{je = 1}^{n} μ_{0}^{2}}{2 σ^{2}}}

$= e^{\frac{-\sum_{i = 1}^{n}x_i^2 + 2\mu_1\sum_{i = 1}^{n}x_i - \sum_{i = 1}^{n}\mu_1^2 + \sum_{i = 1}^{n}x_i^2 - 2\mu_0\sum_{i = 1}^{n}x_i + \sum_{i = 1}^{n}\mu_0^2}{2\sigma^2}}$

= e^{\frac{2 (μ_{1} - μ_{0}) \sum_{je = 1}^{n} X_{je} + n (μ_{0}^{2} - μ_{1}^{2})}{2 σ^{2}}}

$= e^{\frac{2\left(\mu_1-\mu_0\right)\sum_{i = 1}^{n}x_i + n\left(\mu_0^2-\mu_1^2\right)}{2\sigma^2}}$ .

Donc si

t_{c} (X) = {\begin{cases} 1 si journal L (X) \geq c \\ 0 si journal L (X) < c . \end{cases}

$t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if log } L(x) \ge c\\ 0\enspace\text{if log } L(x) \lt c.\end{array} \right.$

alors, pour nous aurons: $\text{log } L(x) \ge c$

Journal (e^{\frac{2 (μ_{1} - μ_{0}) \sum_{je = 1}^{n} X_{je} + n (μ_{0}^{2} - μ_{1}^{2})}{2 σ^{2}}}) \geq c

$\text{log } \left( e^{\frac{2\left(\mu_1-\mu_0\right)\sum_{i = 1}^{n}x_i + n\left(\mu_0^2-\mu_1^2\right)}{2\sigma^2}} \right) \ge c$

\frac{2 (μ_{1} - μ_{0}) \sum_{je = 1}^{n} X_{je} + n (μ_{0}^{2} - μ_{1}^{2})}{2 σ^{2}} \geq c

$\frac{2\left(\mu_1-\mu_0\right)\sum_{i = 1}^{n}x_i + n\left(\mu_0^2-\mu_1^2\right)}{2\sigma^2} \ge c$

\sum_{je = 1}^{n} X_{je} \geq \frac{2 c σ^{2} - n (μ_{0}^{2} - μ_{1}^{2})}{2 (μ_{1} - μ_{0})}

$\sum_{i = 1}^{n}x_i \ge \frac{2c\sigma^2 - n\left(\mu_0^2-\mu_1^2\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{je = 1}^{n} X_{je} \geq \frac{2 c σ^{2}}{2 (μ_{1} - μ_{0})} - \frac{n (μ_{0}^{2} - μ_{1}^{2})}{2 (μ_{1} - μ_{0})}

$\sum_{i = 1}^{n}x_i \ge \frac{2c\sigma^2}{2\left(\mu_1-\mu_0\right)} - \frac{n\left(\mu_0^2-\mu_1^2\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{je = 1}^{n} X_{je} \geq \frac{c σ^{2}}{(μ_{1} - μ_{0})} - \frac{n (μ_{0}^{2} - μ_{1}^{2})}{2 (μ_{1} - μ_{0})}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} - \frac{n\left(\mu_0^2-\mu_1^2\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{je = 1}^{n} X_{je} \geq \frac{c σ^{2}}{(μ_{1} - μ_{0})} + \frac{n (μ_{1}^{2} - μ_{0}^{2})}{2 (μ_{1} - μ_{0})}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1^2-\mu_0^2\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{je = 1}^{n} X_{je} \geq \frac{c σ^{2}}{(μ_{1} - μ_{0})} + \frac{n (μ_{1} - μ_{0}) (μ_{1} + μ_{0})}{2 (μ_{1} - μ_{0})}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1-\mu_0\right)\left(\mu_1+\mu_0\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{je = 1}^{n} X_{je} \geq \frac{c σ^{2}}{(μ_{1} - μ_{0})} + \frac{n (μ_{1} + μ_{0})}{2}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1+\mu_0\right)}{2}$

(\frac{1}{n}) \sum_{je = 1}^{n} X_{je} \geq (\frac{1}{n}) (\frac{c σ^{2}}{(μ_{1} - μ_{0})} + \frac{n (μ_{1} + μ_{0})}{2})

$\left(\frac{1}{n}\right) \sum_{i = 1}^{n}x_i \ge \left(\frac{1}{n}\right) \left( \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1+\mu_0\right)}{2}\right)$

\frac{\sum_{je = 1}^{n} X_{je}}{n} \geq \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$\frac{\sum_{i = 1}^{n}x_i}{n} \ge \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

\bar{X} \geq \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$\bar{x} \ge \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

\bar{X} \geq k, où k = \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$\bar{x} \ge k \text{, where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

résultant en

t_{c} (X) = {\begin{cases} 1 si \bar{X} \geq k \\ 0 si \bar{X} < k . \end{cases}, où k = \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if } \bar{x} \ge k\\ 0\enspace\text{if } \bar{x} \lt k.\end{array} \right. \enspace \enspace \text{, where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

Afin de calculer et , nous savons que: $\alpha$ $\beta$

α = {Pr}_{F_{0}} {t (X) = 1},

$\alpha = \text{Pr}_{f_0} \{t(x)=1\},$

β = {Pr}_{F_{1}} {t (X) = 0} .

$\beta = \text{Pr}_{f_1} \{t(x)=0\}.$

donc,

\begin{array}{ll} α = {Pr}_{F_{0}} {\bar{X} \geq k}, \\ β = {Pr}_{F_{1}} {\bar{X} < k} . \end{array} où k = \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$\begin{array}{ll} \alpha = \text{Pr}_{f_0} \{\bar{x} \ge k\},\\ \beta = \text{Pr}_{f_1} \{\bar{x} \lt k\}.\end{array} \enspace \enspace \text{ where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

Pour ... $\alpha$

α = {Pr}_{F_{0}} {\bar{X} \geq k} = {Pr}_{F_{0}} {\bar{X} - μ_{0} \geq k - μ_{0}}

$\alpha = \text{Pr}_{f_0} \{\bar{x} \ge k\} = \text{Pr}_{f_0} \{\bar{x} - \mu_0 \ge k - \mu_0\}$

α = {Pr}_{F_{0}} {\frac{\bar{X} - μ_{0}}{\frac{σ}{\sqrt{n}}} \geq \frac{k - μ_{0}}{\frac{σ}{\sqrt{n}}}}

$\alpha = \text{Pr}_{f_0} \left\{\frac{\bar{x} - \mu_0}{\frac{\sigma}{\sqrt{n}}} \ge \frac{k - \mu_0}{\frac{\sigma}{\sqrt{n}}}\right\}$

α = {Pr}_{F_{0}} {z-score \geq \frac{k - μ_{0}}{\frac{σ}{\sqrt{n}}}} où k = \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$\alpha = \text{Pr}_{f_0} \left\{\text{z-score} \ge \frac{k - \mu_0}{\frac{\sigma}{\sqrt{n}}}\right\} \enspace \enspace \text{ where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

j'ai donc implémenté le code python ci-dessous:

def alpha_calculation(cutoff, m_0, m_1, variance, sample_size):
    c = cutoff
    n = sample_size
    sigma = np.sqrt(variance)

    k = (c*variance)/(n*(m_1-m_0)) + (m_1+m_0)/2.0

    z_alpha = (k-m_0)/(sigma/np.sqrt(n))

    # Pr{z_score >= z_alpha}
    return 1.0 - st.norm(loc=0, scale=1).cdf(z_alpha)

Pour ... $\beta$

β = {Pr}_{F_{1}} {\bar{X} < k} = {Pr}_{F_{1}} {\bar{X} - μ_{1} < k - μ_{1}}

$\beta = \text{Pr}_{f_1} \{\bar{x} \lt k\} = \text{Pr}_{f_1} \{\bar{x} - \mu_1 \lt k - \mu_1\}$

β = {Pr}_{F_{1}} {\frac{\bar{X} - μ_{1}}{\frac{σ}{\sqrt{n}}} < \frac{k - μ_{1}}{\frac{σ}{\sqrt{n}}}}

$\beta = \text{Pr}_{f_1} \left\{\frac{\bar{x} - \mu_1}{\frac{\sigma}{\sqrt{n}}} \lt \frac{k - \mu_1}{\frac{\sigma}{\sqrt{n}}}\right\}$

β = {Pr}_{F_{1}} {z-score < \frac{k - μ_{1}}{\frac{σ}{\sqrt{n}}}} où k = \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$\beta = \text{Pr}_{f_1} \left\{\text{z-score} \lt \frac{k - \mu_1}{\frac{\sigma}{\sqrt{n}}}\right\} \enspace \enspace \text{ where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

résultant dans le code python ci-dessous:

def beta_calculation(cutoff, m_0, m_1, variance, sample_size):
    c = cutoff
    n = sample_size
    sigma = np.sqrt(variance)

    k = (c*variance)/(n*(m_1-m_0)) + (m_1+m_0)/2.0

    z_beta = (k-m_1)/(sigma/np.sqrt(n))

    # Pr{z_score < z_beta}
    return st.norm(loc=0, scale=1).cdf(z_beta)

et le code ...

alphas_calculated = []
betas_calculated = []
for cutoff in cutoffs:
    alpha_ = alpha_calculation(cutoff, 0.0, 0.5, 1.0, sample_size)
    beta_ = beta_calculation(cutoff, 0.0, 0.5, 1.0, sample_size)

    alphas_calculated.append(alpha_)
    betas_calculated.append(beta_)

et le code ...

# Reproducing Figure 2.2 from calculation results.
plt.xlabel('$\\alpha$')
plt.ylabel('$\\beta$')
plt.xlim(-0.1, 1.05)
plt.ylim(-0.1, 1.05)
plt.axvline(x=0, color='b', linestyle='--')
plt.axvline(x=1, color='b', linestyle='--')
plt.axhline(y=0, color='b', linestyle='--')
plt.axhline(y=1, color='b', linestyle='--')
figure_2_2 = plt.plot(alphas_calculated, betas_calculated, 'ro', alphas_calculated, betas_calculated, 'k-')

pour obtenir un chiffre et des valeurs pour et très similaires à ma première simulation $\alpha$ $\beta$

Et enfin de comparer côte à côte les résultats entre simulation et calcul ...

df = pd.DataFrame({
    'cutoff': np.round(cutoffs, decimals=2), 
    'simulated alpha': np.round(alphas_simulated, decimals=2),
    'simulated beta': np.round(betas_simulated, decimals=2),
    'calculated alpha': np.round(alphas_calculated, decimals=2),
    'calculate beta': np.round(betas_calculated, decimals=2)
})
df

résultant en

Cela montre que les résultats de la simulation sont très similaires (sinon les mêmes) à ceux de l'approche analytique.

En bref, j'ai encore besoin d'aide pour déterminer ce qui pourrait mal se passer dans mes calculs. Merci. :)

— Francisco Fonseca
source

Il me semble que toute question qui oblige les lecteurs à parcourir 11 pages de code informatique, de sortie statistique et d'algèbre est peu susceptible d'être lue par quiconque, et encore moins de répondre de manière convaincante. Si vous êtes intéressé à poursuivre cela, comme vous semblez l'être du temps et de l'attention que vous y avez consacrés, puis-je vous suggérer d'identifier le nœud du problème et de voir si vous pouvez l'expliquer et poser votre question dans l'espace de une ou au plus deux pages de matériel?

— whuber

Salut @whuber, merci pour ta suggestion! Mon intention était de publier des détails (code source et explications) pour permettre à quiconque de reproduire mes résultats, mais il semble que cette stratégie n'ait pas très bien fonctionné comme vous l'avez correctement observé :). Merci encore. J'ai ensuite édité la question pour résumer mon doute au début du post. J'espère que cela fonctionne.

— Francisco Fonseca

Dans le site Web du livre Computer Age Statistical Inference , il y a une session de discussion où Trevor Hastie et Brad Efron répondent souvent à plusieurs questions. J'ai donc posté cette question (comme ci-dessous) et reçu de Trevor Hastie la confirmation qu'il y a une erreur dans le livre qui sera corrigée (en d'autres termes, mes simulations et calculs - tels qu'implémentés en Python dans cette question - sont corrects ).

Lorsque Trevor Hastie a répondu que "En fait c = 0,75 pour ce graphique" signifie que sur la figure ci-dessous (figure 2.2 originale du livre), le seuil devrait être au lieu de : $c$ $c=0.75$ $c=0.4$

Ainsi, en utilisant mes fonctions alpha_simulation(.), beta_simulation(.), alpha_calculation(.)et beta_calculation(.)(dont l'intégralité du code Python est disponible dans cette question) Je suis et pour une coupure comme une confirmation que mon code est correct. $\alpha=0.10$ $\beta=0.38$ $c=0.75$

alpha_simulated_c075 = alpha_simulation(0.75, f0_density, f1_density, sample_size, replicates)
beta_simulated_c075 = beta_simulation(0.75, f0_density, f1_density, sample_size, replicates)

alpha_calculated_c075 = alpha_calculation(0.75, 0.0, 0.5, 1.0, sample_size)
beta_calculated_c075 = beta_calculation(0.75, 0.0, 0.5, 1.0, sample_size)

print("Simulated: c=0.75, alpha={0:.2f}, beta={1:.2f}".format(alpha_simulated_c075, beta_simulated_c075))
print("Calculated: c=0.75, alpha={0:.2f}, beta={1:.2f}".format(alpha_calculated_c075, beta_calculated_c075))

Enfin, lorsque Trevor Hastie a répondu que "... entraînant un seuil pour x de 0,4", cela signifie que dans l'équation ci-dessous (voir la section B de cette question): $k=0.4$

\bar{X} \geq k, où k = \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$\bar{x} \ge k \text{, where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

résultant en

t_{c} (X) = {\begin{cases} 1 si \bar{X} \geq k \\ 0 si \bar{X} < k . \end{cases}, où k = \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

Donc, en Python, nous pouvons obtenir pour un seuil de coupure comme ci-dessous: $k=0.4$ $c=0.75$

n = 10
m_0 = 0.0
m_1 = 0.5
variance = 1.0
c = 0.75

k = (c*variance)/(n*(m_1-m_0)) + (m_1+m_0)/2.0
threshold_for_x = k

print("threshold for x (when cutoff c=0.75) = {0:.1f}".format(threshold_for_x))

— Francisco Fonseca
source