Statistiques et Big Data

2

Vitesse, dépenses de calcul de PCA, LASSO, filet élastique

J'essaie de comparer la complexité de calcul / la vitesse d'estimation de trois groupes de méthodes de régression linéaire comme distingué dans Hastie et al. "Elements of Statistical Learning" (2e éd.), Chapitre 3: Sélection de sous-ensemble Méthodes de retrait Méthodes utilisant des directions d'entrée dérivées (PCR, PLS) La comparaison peut …

18 machine-learning estimation feature-selection algorithms time-complexity

1

Méthode du deuxième moment, mouvement brownien?

Soit BtBtB_t un mouvement brownien standard. Soit Ej , nEj,nE_{j, n} désigne l'événement { Bt= 0 pour certains j - 12n≤ t ≤ j2n} ,{Bt=0 for some j−12n≤t≤j2n},\left\{B_t = 0 \text{ for some }{{j-1}\over{2^n}} \le t \le {j\over{2^n}}\right\},et soitKn= ∑j = 2n+ 122 n1Ej , n,Kn=∑j=2n+122n1Ej,n,K_n = \sum_{j = 2^n …

18 probability self-study moments distributions brownian

5

Qu'est-ce que la taille d'effet… et pourquoi est-elle même utile?

J'ai une formation en statistiques de niveau universitaire (supposons que je connaisse les statistiques mathématiques et les probabilités au premier cycle (par exemple, Wackerly et al., Ross 'Probability), et j'ai une certaine connaissance de la théorie des mesures). J'ai récemment commencé un travail de conception expérimentale et de rapports statistiques …

18 effect-size group-differences

1

Paradoxe dans la sélection des modèles (AIC, BIC, pour expliquer ou prédire?)

Après avoir lu "To Explain or to Predict" de Galit Shmueli (2010), je suis perplexe face à une apparente contradiction. Il y a trois prémisses, Choix du modèle basé sur AIC ou BIC (fin de la page 300 - début de la page 301): en termes simples, l'AIC doit être …

18 forecasting model-selection feature-selection aic bic

3

Bel exemple où une série sans racine unitaire n'est pas stationnaire?

J'ai vu plusieurs fois des gens rejeter le nul dans un test de Dickey-Fuller augmenté , puis affirmer qu'il montre que leur série est stationnaire (malheureusement, je ne peux pas montrer les sources de ces affirmations, mais j'imagine que des affirmations similaires existent ici et là dans un ou un …

18 time-series unit-root stationarity augmented-dickey-fuller

4

Attente d'un produit de variables aléatoires dépendantes lorsque

Laissez et , . Quelle est l'attente de comme ?X1∼U[0,1]X1∼U[0,1]X_1 \sim U[0,1]Xi∼U[Xi−1,1]Xi∼U[Xi−1,1]X_i \sim U[X_{i - 1}, 1]i=2,3,...i=2,3,...i = 2, 3,...X1X2⋯XnX1X2⋯XnX_1 X_2 \cdots X_nn→∞n→∞n \rightarrow \infty

18 mathematical-statistics random-variable expected-value

2

Quel est le problème des prieurs empiriques?

Dans la littérature, je tombe parfois sur la remarque selon laquelle le choix de priors qui dépendent des données elles-mêmes (par exemple Zellners g-prior) peut être critiqué d'un point de vue théorique. Où se situe exactement le problème si le prieur n'est pas choisi indépendamment des données?

18 bayesian prior hierarchical-bayesian

4

Pourquoi diviser les données dans l'ensemble de formation et de test ne suffit pas

Je sais que pour accéder aux performances du classificateur, je dois diviser les données en ensemble de formation / test. Mais en lisant ceci : Lors de l'évaluation de différents paramètres («hyperparamètres») pour les estimateurs, tels que le paramètre C qui doit être défini manuellement pour un SVM, il existe …

18 machine-learning cross-validation

1

Aide-mémoire ANOVA Alphabet Soup & Regression Equivalents

Puis-je obtenir de l'aide pour terminer cette tentative (en cours) de tentative de repérage sur les équivalents ANOVA et REGRESSION? J'ai essayé de concilier les concepts, la nomenclature et la syntaxe de ces deux méthodologies. Il existe de nombreux messages sur ce site concernant leur similitude, par exemple ceci ou …

18 regression anova mixed-model

2

Dans un modèle de Poisson, quelle est la différence entre l'utilisation du temps comme covariable ou un décalage?

J'ai récemment découvert comment modéliser des expositions dans le temps en utilisant le log (par exemple) du temps comme décalage dans une régression de Poisson. J'ai compris que le décalage correspond au fait d'avoir le temps comme covariable avec le coefficient 1. J'aimerais mieux comprendre la différence entre utiliser le …

18 poisson-regression predictor offset

2

Comprendre l'analyse des composants indépendants

J'ai vu et apprécié la question Comprendre l'analyse des composants principaux , et maintenant j'ai la même question pour l'analyse des composants indépendants. Je veux dire que je veux poser une question complète sur les façons intuitives de comprendre l'ICA? Je veux le comprendre . Je veux en comprendre le …

18 intuition ica

1

Existe-t-il un ensemble clair de conditions dans lesquelles le lasso, la crête ou les chemins de solution nette élastique sont monotones?

La question Que conclure de ce graphique du lasso (glmnet) montre des chemins de solution pour l'estimateur du lasso qui ne sont pas monotones. C'est-à-dire que certains des coefficients augmentent en valeur absolue avant de rétrécir. J'ai appliqué ces modèles à plusieurs types d'ensembles de données et je n'ai jamais …

18 lasso ridge-regression elastic-net

1

Comment la matrice de confusion est-elle rapportée par la validation croisée K-fold?

Supposons que je fasse une validation croisée K-fold avec K = 10 plis. Il y aura une matrice de confusion pour chaque pli. Lors de la communication des résultats, dois-je calculer quelle est la matrice de confusion moyenne, ou simplement additionner les matrices de confusion?

18 machine-learning cross-validation accuracy

1

Interprétation du test d'immersion de Hartigans

Je voudrais trouver un moyen de quantifier l'intensité de la bimodalité de certaines distributions que j'ai obtenues empiriquement. D'après ce que j'ai lu, il y a encore un débat sur la façon de quantifier la bimodalité. J'ai choisi d'utiliser le test d'immersion de Hartigans qui semble être le seul disponible …

18 r distributions

2

Lissage - quand l'utiliser et quand ne pas le faire?

Il y a un assez vieux billet sur le blog de William Briggs qui examine les pièges du lissage des données et de leur transfert à l'analyse. L'argument clé est à savoir: Si, dans un moment de folie, vous lissez des données de séries chronologiques et que vous les utilisez …

18 time-series smoothing