Statistiques et Big Data bias

2

Décomposition de la variance biaisée: terme pour l'erreur de prévision quadratique attendue moins l'erreur irréductible

Hastie et al. "Les éléments de l'apprentissage statistique" (2009) considèrent un processus de génération de données avec E ( ε ) = 0 et Var ( ε ) = σ 2 ε .Oui=f(X) + εY=f(X)+ε Y = f(X) + \varepsilon E (ε)=0E(ε)=0\mathbb{E}(\varepsilon)=0Var ( ε ) = σ2εVar(ε)=σε2\text{Var}(\varepsilon)=\sigma^2_{\varepsilon} Ils présentent la …

9 variance forecasting prediction terminology bias

2

Les hypothèses des moindres carrés

Supposons la relation linéaire suivante: , où est la variable dépendante, une seule variable indépendante et le terme d'erreur.Y i X i u iOuije= β0+ β1Xje+ ujeYi=β0+β1Xi+uiY_i = \beta_0 + \beta_1 X_i + u_iOuijeYiY_iXjeXiX_iujeuiu_i Selon Stock & Watson (Introduction à l'économétrie; chapitre 4 ), la troisième hypothèse des moindres carrés …

9 regression least-squares assumptions bias consistency

2

Les estimateurs d'arbres sont-ils TOUJOURS biaisés?

Je fais mes devoirs sur les arbres de décision, et l'une des questions auxquelles je dois répondre est "Pourquoi les estimateurs sont-ils construits à partir d'arbres biaisés, et comment l'ensachage aide-t-il à réduire leur variance?". Maintenant, je sais que les modèles surajustés ont tendance à avoir un biais vraiment faible, …

9 cart bias

3

Quel est ce compromis biais-variance pour les coefficients de régression et comment le dériver?

Dans cet article , ( Inférence bayésienne pour les composants de la variance utilisant uniquement des contrastes d'erreur , Harville, 1974), l'auteur affirme pour être "bien connu" relation ", pour une régression linéaire où y = X β( y- Xβ)′H- 1( y- Xβ) = ( y- Xβ^)′H-1( y- Xβ^) +( …

9 regression regression-coefficients heteroscedasticity bias linear-algebra

2

Biais d'optimisme - estimations de l'erreur de prédiction

Le livre Elements of Statistical Learning (disponible en ligne en PDF) discute du biais d'optimisim (7.21, page 229). Il indique que le biais d'optimisme est la différence entre l'erreur d'apprentissage et l'erreur dans l'échantillon (erreur observée si nous échantillonnons de nouvelles valeurs de résultat à chacun des points d'apprentissage d'origine) …

9 error bias validation

2

Modèle de risque proportionnel de Cox et échantillon non sélectionné au hasard

Existe-t-il des méthodes pour corriger le biais dans le modèle de risque proportionnel de Cox causé par un échantillon non sélectionné au hasard (quelque chose comme la correction de Heckman)? Contexte : Disons que la situation se présente comme suit: - Au cours des deux premières années, tous les clients …

9 bias cox-model

2

pourquoi l'impartialité n'implique pas la cohérence

Je lis l'apprentissage en profondeur par Ian Goodfellow et al. Il introduit un biais car Bias(θ)=E(θ^)−θBias(θ)=E(θ^)−θBias(\theta)=E(\hat\theta)-\theta où et sont respectivement le paramètre estimé et le paramètre réel sous-jacent.θ^θ^\hat\thetaθθ\theta La cohérence, d'autre part, est définie par ce qui signifie que pour tout , aslimm→∞θ^m=θlimm→∞θ^m=θ\mathrm{lim}_{m\to\infty}\hat\theta_m=\thetaϵ>0ϵ>0\epsilon > 0P(|θ^m−θ|>ϵ)→0P(|θ^m−θ|>ϵ)→0P(|\hat\theta_m-\theta|>\epsilon)\to0m→∞m→∞m\to\infty Ensuite, il dit que la …

9 estimation bias unbiased-estimator consistency

1

Confusion liée à la technique d'ensachage

J'ai un peu de confusion. Je lisais cet article où il expliquait que la technique d'ensachage réduit considérablement la variance et n'augmente que légèrement le biais. Je ne l'ai pas compris comment cela réduit la variance. Je sais ce qu'est la variance et le biais. Le biais est l'incapacité du …

9 variance bias bagging

4

Différence entre biais, biais systématique et erreur systématique?

Y a-t-il une différence entre les termes suivants ou ils sont identiques? Biais Biais systématique Erreurs systématiques S'il existe des différences, veuillez les expliquer. Ces erreurs peuvent-elles être réduites lorsque l'on augmente la taille de l'échantillon? MISE À JOUR: Mon domaine d'intérêt est l'inférence statistique. Je veux dire que la …

9 measurement-error bias

3

Utilisation de poids de régression lorsque

Supposons que nous observions les données et que nous souhaitions ajuster un modèle de régression pour . Malheureusement, est parfois mesuré avec des erreurs dont la moyenne est non nulle.Oui, XY,XY, XE [Y|X]E[Y|X]\mathbf{E}[Y \,|\, X]OuiYY Soit indiquer si est mesuré avec des erreurs moyennes nulles classiques ou des erreurs non …

8 regression bias measurement-error weighted-regression

2

Un faible biais dans un échantillon est-il synonyme de variance élevée?

Est-ce que ce qui suit est vrai? biais faible = variance élevée biais élevé = faible variance Je comprends les biais élevés et faibles, mais en quoi la variance est-elle différente? Ou sont les synonymes ci-dessus?

8 machine-learning neural-networks variance sampling bias

2

Nom du «remaniement» (permutation aléatoire de l'ensemble de données pour estimer le biais d'un estimateur)

Connaissez-vous une référence ou un nom pour la façon suivante de rechercher si une technique de modélisation complexe TTT est biaisé? Appliquez à l'ensemble de données d'origine. Mesurer ses performances (par exemple, R au carré dans le cadre de la régression).TTT Permutez au hasard la variable de réponse pour obtenir …

8 terminology bias validation permutation-test

1

Biais de sélection dans les arbres

Dans Applied Predictive Modeling de Kuhn et Johnson, les auteurs écrivent: Enfin, ces arbres souffrent d'un biais de sélection: les prédicteurs avec un nombre plus élevé de valeurs distinctes sont favorisés par rapport aux prédicteurs plus granulaires (Loh et Shih, 1997; Carolin et al., 2007; Loh, 2010). Loh et Shih …

8 cart bias

2

L'ajustement pour les variables superflues biaise-t-il les estimations de l'OLS?

Le traitement habituel dans les manuels de l'ajustement des variables superflues dans l'OLS stipule que l'estimateur est toujours sans biais, mais peut avoir une variance plus importante (voir, par exemple, Greene, Econometric Analysis, 7e éd., P. 58). L'autre jour, je suis tombé sur le traitement par Judea Pearl du Paradoxe …

8 least-squares bias causality simpsons-paradox

1

Validation croisée avec oubli: estimation relativement impartiale des performances de généralisation?

J'ai lu que la validation croisée avec abandon fournit une «estimation sans biais de la véritable performance de généralisation» (par exemple ici ) et que c'est une propriété avantageuse du CV avec abandon. Cependant, je ne vois pas comment cela découle des propriétés du CV à laisser-un. Pourquoi le biais …

8 cross-validation model-selection bias

Questions marquées «bias»