Statistiques et Big Data

4

Conditions suffisantes et nécessaires pour une valeur propre nulle d'une matrice de corrélation

Étant donné variable aléatoire , avec une distribution de probabilité , la matrice de corrélation est positive semi-définie, c'est-à-dire ses valeurs propres sont positifs ou nuls.nnnXiXiX_iP( X1, … , Xn)P(X1,…,Xn)P(X_1,\ldots,X_n)Cje j= E[ XjeXj] - E[ Xje] E[ Xj]Cij=E[XiXj]−E[Xi]E[Xj]C_{ij}=E[X_i X_j]-E[X_i]E[X_j] Je m'intéresse aux conditions sur qui sont nécessaires et / ou …

11 correlation

3

Pourquoi devons-nous adapter un classifieur k-voisins les plus proches?

Si j'ai bien compris, k-NN est un algorithme d'apprentissage paresseux et il n'a pas besoin d'une phase de formation. Alors, pourquoi devons-nous utiliser .fit()avec sklearn et que se passe-t-il lorsque nous l'utilisons?

11 classification scikit-learn k-nearest-neighbour

3

Fractionnement des données de séries chronologiques en ensembles de train / test / validation

Quelle est la meilleure façon de diviser les données de séries chronologiques en ensembles train / test / validation, où l'ensemble de validation serait utilisé pour le réglage d'hyperparamètre? Nous avons 3 ans de données de vente quotidiennes, et notre plan est d'utiliser 2015-2016 comme données de formation, puis échantillonner …

11 time-series cross-validation validation

2

Pourquoi y a-t-il des recommandations contre l'utilisation de Jeffreys ou de priors basés sur l'entropie pour les échantillonneurs MCMC?

Sur leur page wiki , les développeurs de Stan déclarent: Quelques principes que nous n'aimons pas: l'invariance, Jeffreys, l'entropie Au lieu de cela, je vois beaucoup de recommandations de distribution normale. Jusqu'à présent, j'ai utilisé des méthodes bayésiennes qui ne reposaient pas sur l'échantillonnage, et j'étais plutôt content d'avoir compris …

11 bayesian mcmc prior pymc stan

1

Pourquoi est-ce mal d'interpréter SVM comme des probabilités de classification?

Ma compréhension de SVM est qu'elle est très similaire à une régression logistique (LR), c'est-à-dire qu'une somme pondérée de caractéristiques est passée à la fonction sigmoïde pour obtenir une probabilité d'appartenance à une classe, mais au lieu de la perte d'entropie croisée (logistique) fonction, la formation est effectuée en utilisant …

11 machine-learning logistic svm

3

Critère d'arrêt pour Nelder Mead

J'essaie d'implémenter l'algorithme Nelder-Mead pour optimiser une fonction. La page wikipedia sur Nelder-Mead est étonnamment claire sur l'ensemble de l'algorithme, à l'exception de son critère d'arrêt. Là, il dit malheureusement: Vérifier la convergence [clarification nécessaire] . J'ai moi-même essayé et testé quelques critères: Arrêtez si où ϵ est petit et …

11 optimization algorithms

2

Pourquoi un arbre ensaché / un arbre forestier aléatoire a-t-il un biais plus élevé qu'un arbre de décision unique?

Si nous considérons un arbre de décision complet (c'est-à-dire un arbre de décision non élagué), il présente une variance élevée et un faible biais. L'ensachage et les forêts aléatoires utilisent ces modèles à variance élevée et les agrègent afin de réduire la variance et ainsi améliorer la précision des prévisions. …

11 variance random-forest cart bias bagging

1

Flèches des variables sous-jacentes dans le biplot PCA dans R

Au risque de rendre la question spécifique au logiciel, et avec l'excuse de son ubiquité et de ses idiosyncrasies, je veux poser des questions sur la fonction biplot()dans R, et, plus précisément, sur le calcul et le tracé de sa valeur par défaut, des flèches rouges superposées, correspondant aux variables …

11 r pca biplot

1

Quelle est la perte de poids?

Je commence par l'apprentissage en profondeur, et j'ai une question dont je n'ai pas trouvé la réponse, peut-être que je n'ai pas cherché correctement. J'ai vu cette réponse , mais on ne sait toujours pas quelle est la perte de perte de poids et comment est-elle liée à la fonction …

11 neural-networks conv-neural-network

5

Quand utiliser le modèle à effets mixtes?

Les modèles d'effets mixtes linéaires sont des extensions des modèles de régression linéaire pour les données collectées et résumées en groupes. Les principaux avantages sont que les coefficients peuvent varier par rapport à une ou plusieurs variables de groupe. Cependant, je me bats avec quand utiliser le modèle à effets …

11 regression mixed-model random-effects-model linear

3

Quelle est la différence entre le modèle déterministe et le modèle stochastique?

Modèle linéaire simple: x=αt+ϵtx=αt+ϵtx=\alpha t + \epsilon_t où ~ iid N ( 0 , σ 2 )ϵtϵt\epsilon_tN(0,σ2)N(0,σ2)N(0,\sigma^2) avec etV a r ( x ) = σ 2E(x)=αtE(x)=αtE(x) = \alpha tVar(x)=σ2Var(x)=σ2Var(x)=\sigma^2 AR (1): Xt=αXt−1+ϵtXt=αXt−1+ϵtX_t =\alpha X_{t-1} + \epsilon_t où ~ iid N ( 0 , σ 2 )ϵtϵt\epsilon_tN(0,σ2)N(0,σ2)N(0,\sigma^2) avec etV a …

11 regression stochastic-processes autoregressive deterministic

1

Théorème de la limite centrale pour les racines carrées des sommes des variables aléatoires iid

Intrigué par une question à math.stackexchange , et en l'examinant empiriquement, je me pose des questions sur l'énoncé suivant sur la racine carrée des sommes des variables aléatoires iid. Supposons que sont des variables aléatoires iid avec une moyenne finie et une variance et . Le théorème de limite centrale …

11 normal-distribution central-limit-theorem sum

1

XGBoost peut gérer les données manquantes dans la phase de prévision

Récemment, j'ai examiné l'algorithme XGBoost et j'ai remarqué que cet algorithme peut gérer les données manquantes (sans nécessiter d'imputation) dans la phase de formation. Je me demandais si XGboost peut gérer les données manquantes (sans nécessiter d'imputation) quand il est utilisé pour prévoir de nouvelles observations ou s'il est nécessaire …

11 machine-learning missing-data data-imputation xgboost

1

R / mgcv: Pourquoi les produits tenseurs te () et ti () produisent-ils des surfaces différentes?

Le mgcvpackage pour Ra deux fonctions pour ajuster les interactions des produits tensoriels: te()et ti(). Je comprends la division de base du travail entre les deux (ajustement d'une interaction non linéaire vs décomposition de cette interaction en effets principaux et interaction). Ce que je ne comprends pas, c'est pourquoi te(x1, …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

1

Pourquoi la non-négativité est-elle importante pour les systèmes de filtrage / recommandation collaboratifs?

Dans tous les systèmes de recommandation modernes que j'ai vus qui reposent sur la factorisation matricielle, une factorisation matricielle non négative est effectuée sur la matrice utilisateur-film. Je peux comprendre pourquoi la non-négativité est importante pour l'interprétabilité et / ou si vous voulez des facteurs clairsemés. Mais si vous ne …

11 recommender-system svd matrix-decomposition nnmf