Statistiques et Big Data bias-variance-tradeoff

7

Biais et variance dans la validation croisée avec un pli en K par rapport à un pli

Comment différentes méthodes de validation croisée se comparent-elles en termes de variance et de biais du modèle? Ma question est en partie motivée par ce fil: nombre optimal de plis en validation croisée de: est leave-one-out CV toujours le meilleur choix? KKKK. La réponse suggérée ici suggère que les modèles …

83 machine-learning variance cross-validation bias bias-variance-tradeoff

2

Nombre optimal de plis en -fold validation croisée: est leave-one-out CV toujours le meilleur choix?

Mis à part les considérations relatives à la puissance de calcul, y a-t-il des raisons de penser que l' augmentation du nombre de plis lors de la validation croisée conduit à une meilleure sélection / validation du modèle (en d'autres termes, plus le nombre de plis est élevé, mieux c'est). …

47 cross-validation bias-variance-tradeoff

2

Comprendre la dérivation du compromis biais-variance

Je lis le chapitre sur le compromis biais-variance des éléments de l'apprentissage statistique et j'ai un doute dans la formule de la page 29. Que les données proviennent d'un modèle tel que où est aléatoire nombre avec la valeur attendue et la variance . Soit la valeur d'erreur attendue du …

20 machine-learning unbiased-estimator mse bias-variance-tradeoff

2

Question sur le compromis biais-variance

J'essaie de comprendre le compromis biais-variance, la relation entre le biais de l'estimateur et le biais du modèle, et la relation entre la variance de l'estimateur et la variance du modèle. Je suis arrivé à ces conclusions: Nous avons tendance à surajuster les données lorsque nous négligeons le biais de …

15 regression variance bias bias-variance-tradeoff

2

Pourquoi la meilleure sélection de sous-ensembles n'est-elle pas favorisée par rapport au lasso?

Je lis sur la meilleure sélection de sous-ensembles dans le livre Elements of statistics learning. Si j'ai 3 prédicteurs , je crée sous-ensembles:x1,x2,x3x1,x2,x3x_1,x_2,x_323=823=82^3=8 Sous-ensemble sans prédicteurs sous-ensemble avec prédicteurx1x1x_1 sous-ensemble avec prédicteurx2x2x_2 sous-ensemble avec prédicteur x3x3x_3 sous-ensemble avec prédicteurs x1,x2x1,x2x_1,x_2 sous-ensemble avec prédicteurs x1,x3x1,x3x_1,x_3 sous-ensemble avec prédicteurs x2,x3x2,x3x_2,x_3 sous-ensemble avec …

13 regression feature-selection lasso bias-variance-tradeoff

1

Terme de variance dans la décomposition biais-variance de la régression linéaire

Dans «Les éléments de l'apprentissage statistique», l'expression de la décomposition biais-variance du modèle linéaire est donnée par où est la fonction cible réelle, est la variance de l'erreur aléatoire dans le modèle et est l'estimateur linéaire de .Err(x0)=σ2ϵ+E[f(x0)−Ef^(x0)]2+||h(x0)||2σ2ϵ,Err(x0)=σϵ2+E[f(x0)−Ef^(x0)]2+||h(x0)||2σϵ2,Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,f(x0)f(x0)f(x_0)σ2ϵσϵ2 \sigma_\epsilon^2y=f(x)+ϵy=f(x)+ϵy=f(x)+\epsilonf^(x)f^(x)\hat f(x)f(x)f(x)f(x) Le terme de variance me trouble ici parce que …

9 regression linear-model bias-variance-tradeoff

4

Est-il possible de décomposer les résidus ajustés en biais et variance, après avoir ajusté un modèle linéaire?

Je voudrais classer les points de données comme ayant besoin d'un modèle plus complexe ou n'ayant pas besoin d'un modèle plus complexe. Ma pensée actuelle est d'adapter toutes les données à un modèle linéaire simple et d'observer la taille des résidus pour faire cette classification. J'ai ensuite fait quelques lectures …

9 regression multiple-regression residuals bias-variance-tradeoff

Questions marquées «bias-variance-tradeoff»