Statistiques et Big Data

1

Quelle est la relation entre la fonction et la régression linéaire?

Considérez la fonction r(x)=E(Y∣X=x)r(x)=E(Y∣X=x) r(x) = \mathbb{E}(Y \mid X = x) Cela a été appelé la fonction de régression dans un manuel que j'utilise. J'essaie de comprendre la relation entre cette fonction et le modèle de régression linéaire classique. Donc, je sais que c'est un théorème * que nous pouvons …

9 regression linear-model

1

Relation entre le percentile et l'intervalle de confiance (en moyenne)

Cette question est venue au travail lorsque quelqu'un m'a demandé quelle était la relation entre un centile et un intervalle de confiance, et j'ai eu beaucoup de mal à articuler mes pensées. Le contexte était une question très simple concernant l'estimation d'un intervalle de confiance à 95% sur une moyenne …

9 confidence-interval quantiles mean

3

Tests d'hypothèses. Pourquoi centrer la distribution d'échantillonnage sur H0?

Une valeur de p est la probabilité d'obtenir une statistique au moins aussi extrême que celle observée dans les données d'échantillon en supposant que l'hypothèse nulle ( ) est vraie.H0H0H_0 Graphiquement, cela correspond à l'aire définie par la statistique de l'échantillon sous la distribution d'échantillonnage que l'on obtiendrait en supposant …

9 hypothesis-testing confidence-interval p-value

2

Utiliser MSE au lieu de log-loss dans la régression logistique

Supposons que nous remplaçons la fonction de perte de la régression logistique (qui est normalement log-vraisemblance) par le MSE. Autrement dit, le rapport de cotes logarithmique doit toujours être une fonction linéaire des paramètres, mais minimiser la somme des différences au carré entre la probabilité estimée et le résultat (codé …

9 logistic maximum-likelihood unbiased-estimator mse

1

Interprétation de la vraisemblance du journal

J'ai du mal à interpréter certains résultats. Je fais une régression liée hiérarchique avec ecoreg. Si j'entre le code, je reçois une sortie avec des rapports de cotes, des rapports de confiance et une probabilité logarithmique maximisée 2x. Cependant, je ne comprends pas entièrement comment interpréter la probabilité de log …

9 r interpretation

3

Quelle est la différence entre

Supposons que j'ai un échantillon aléatoire {Xn,yn}Nn = 1{xn,yn}n=1N\lbrace x_n ,y_n \rbrace_{n=1}^N. Supposer yn=β0+β1Xn+εnyn=β0+β1xn+εny_n = \beta_0 + \beta_1 x_n + \varepsilon_n et y^n=β^0+β^1Xny^n=β^0+β^1xn\hat{y}_n = \hat{\beta}_0 +\hat{\beta}_1 x_n Quelle est la différence entre β1β1\beta_1 et β^1β^1\hat{\beta}_1?

9 regression

1

Prouver la transformation intégrale de probabilité sans supposer que le CDF augmente strictement

Je sais que la preuve de la transformation intégrale de probabilité a été donnée plusieurs fois sur ce site. Cependant, les preuves que j'ai trouvées utilisent l'hypothèse que le CDFFX( x )FX(X)F_X(x) est en augmentation stricte (ensemble, bien sûr, avec l'hypothèse que XXXest une variable aléatoire continue). Je sais qu'en …

9 probability cdf

1

Paramètre de régularisation LASSO de l'algorithme LARS

Dans leur article fondateur «Least Angle Regression» , Efron et al décrivent une modification simple de l'algorithme LARS qui permet de calculer des chemins de régularisation LASSO complets. J'ai implémenté cette variante avec succès et trace généralement le chemin de sortie en fonction du nombre d'étapes (itérations successives de l'algorithme …

9 regression lasso regularization lars

4

approximation normale de la distribution binomiale: pourquoi np> 5?

Presque tous les manuels qui traitent de l'approximation normale de la distribution binomiale mentionnent la règle générale selon laquelle l'approximation peut être utilisée si n p ≥ 5np≥5np\geq5 et n ( 1 - p ) ≥ 5n(1−p)≥5n(1-p)\geq 5. Certains livres suggèrentn p ( 1 - p ) ≥ 5np(1−p)≥5np(1-p)\geq 5au …

9 normal-distribution binomial approximation

1

Est-ce une idée erronée d'utiliser des coefficients standardisés pour évaluer l'importance relative des prédicteurs de régression?

Diverses questions portent sur les mérites relatifs de diverses méthodes d'évaluation de l'importance des prédicteurs de régression, par exemple celle- ci. J'ai remarqué que dans ce commentaire @gung se réfère à la pratique comme une "idée erronée", reliant cette réponse à l'appui de cette affirmation. Le dernier paragraphe de la …

9 regression standardization

1

Comment inclure un terme d'interaction dans un modèle de forêt aléatoire

J'utilise la fonction randomForestdans le randomForestpackage de R pour faire une régression. Cependant, lorsque j'essaie d'inclure un terme d'interaction dans les codes suivants: library(MASS) library(randomForest) Boston_f <- within(Boston, factor(rad)) mdl <- randomForest(lstat ~ rad * . , data = Boston_f) Le résultat mdl$terminclut une interaction, mais si je regarde dans …

9 r interaction random-forest

1

Sélection du modèle de série chronologique: AIC vs SSE hors échantillon et leur équivalence

L'AIC est fréquemment recommandé comme critère pour comparer les modèles de prévision de séries chronologiques. Voir par exemple ceci dans le contexte des modèles de régression dynamique : L'AIC peut être calculé pour le modèle final et cette valeur peut être utilisée pour déterminer les meilleurs prédicteurs. C'est-à-dire que la …

9 time-series cross-validation model-selection arima aic

2

Incorporation de la distribution de probabilité de classe antérieure dans la régression logistique

Je suis étonné de ne pouvoir trouver aucun article / conférence sur la façon d'intégrer des distributions de probabilité de classe antérieures dans des classificateurs comme la régression logistique ou la forêt aléatoire. Ma question est donc: Comment peut-on incorporer la distribution de probabilité de classe antérieure dans la régression …

9 logistic bayesian random-forest prior

1

Construction de modèle: comment construire un modèle gam significatif? (modèle additif généralisé)

J'ai vu qu'il y a diverses questions concernant l'interprétation et la construction des jeux, ce qui semble illustrer la difficulté pour les non-statisticiens de les traiter. Malheureusement, à partir d'aucun des threads ou tutoriels que j'ai lus, j'ai pu comprendre clairement comment construire un modèle significatif. Actuellement, j'étudie l'effet de …

9 r model-selection gam

2

Quelle est la différence entre l'analyse de sensibilité et la validation du modèle?

J'ai lu les deux pages wikipedia d' analyse de sensibilité et de validation de modèle (ici, seulement la validation de régression linéaire) mais je n'arrive pas à trouver un moyen de séparer ces deux termes. J'ai l'impression que le premier est plus utilisé dans les universités et l'ingénierie en général …

9 validation sensitivity-analysis