Statistiques et Big Data

J'espère que quelqu'un pourra m'aider à redresser un point de confusion. Disons que je veux tester si 2 ensembles de coefficients de régression sont significativement différents les uns des autres, avec la configuration suivante: yi=α+βxi+ϵiyi=α+βxi+ϵiy_i = \alpha + \beta x_i + \epsilon_i , avec 5 variables indépendantes. 2 groupes, de …

18 regression  hypothesis-testing  multiple-regression 

J'ai 5 variables et j'essaie de prédire ma variable cible qui doit être comprise entre 0 et 70. Comment utiliser cette information pour mieux modéliser ma cible?

18 regression  bounds 

Supposons que j'ai deux ensembles XXX et YYY et une distribution de probabilité conjointe sur ces ensembles p(x,y)p(x,y)p(x,y) . Soit p(x)p(x)p(x) et p(y)p(y)p(y) les distributions marginales sur XXX et YYY respectivement. Les informations mutuelles entre XXX et YYY sont définies comme suit: I(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) c'est-à-dire qu'il s'agit de …

18 entropy  mutual-information  information-theory 

Contexte J'ai une variable avec une distribution inconnue. J'ai 500 échantillons, mais je voudrais démontrer la précision avec laquelle je peux calculer la variance, par exemple pour affirmer qu'une taille d'échantillon de 500 est suffisante. Je souhaite également connaître la taille minimale de l'échantillon qui serait nécessaire pour estimer la …

18 estimation  random-variable  variance  sampling  sample-size 

J'ai une question sur le calcul du facteur de rétrécissement de James-Stein dans l'article de 1977 de Scientific American de Bradley Efron et Carl Morris, "Stein's Paradox in Statistics" . J'ai rassemblé les données pour les joueurs de baseball et elles sont données ci-dessous: Name, avg45, avgSeason Clemente, 0.400, 0.346 …

18 estimation  shrinkage  steins-phenomenon 

Ce type de graphique a-t-il un nom? Plus important encore, existe-t-il une bibliothèque de visualisation que je peux utiliser pour la produire? http://www.nytimes.com/interactive/2007/12/15/us/politics/DEBATE.html

18 data-visualization 

J'utilise actuellement la formation Viterbi pour un problème de segmentation d'image. Je voulais savoir quels sont les avantages / inconvénients de l'utilisation de l'algorithme Baum-Welch au lieu de la formation Viterbi.

18 machine-learning  hidden-markov-model  image-processing  viterbi-algorithm  baum-welch 

J'ai rencontré des statisticiens qui n'utilisent jamais de modèles autres que la régression linéaire pour la prédiction, car ils croient que les "modèles ML" tels que la forêt aléatoire ou le renforcement du gradient sont difficiles à expliquer ou "non interprétables". Dans une régression linéaire, étant donné que l'ensemble des …

18 regression  machine-learning  multiple-regression  model-interpretation 

Je connais les avantages de la régularisation lors de la construction de modèles prédictifs (biais vs variance, prévention du sur-ajustement). Mais, je me demande si c'est une bonne idée de faire aussi de la régularisation (lasso, crête, filet élastique) lorsque le but principal du modèle de régression est l'inférence sur …

18 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Voici ma trame de données: Group <- c("G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3") Subject <- c("S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15","S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15","S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15") Value <- c(9.832217741,13.62390117,13.19671612,14.68552076,9.26683366,11.67886655,14.65083473,12.20969772,11.58494621,13.58474896,12.49053635,10.28208078,12.21945867,12.58276212,15.42648969,9.466436017,11.46582655,10.78725485,10.66159358,10.86701127,12.97863424,12.85276916,8.672953949,10.44587257,13.62135205,13.64038394,12.45778874,8.655142642,10.65925259,13.18336949,11.96595556,13.5552118,11.8337142,14.01763101,11.37502161,14.14801305,13.21640866,9.141392359,11.65848845,14.20350364,14.1829714,11.26202565,11.98431285,13.77216009,11.57303893) data <- data.frame(Group, Subject, Value) Ensuite, je lance un modèle d'effets mixtes linéaires pour comparer la différence des 3 groupes sur "Valeur", où "Sujet" est le facteur aléatoire: library(lme4) library(lmerTest) model <- lmer (Value~Group + (1|Subject), …

18 r  lme4-nlme  post-hoc 

Quelle est la complexité temporelle de l' algorithme k -NN avec une approche de recherche naïve (pas d'arbre kd ou similaire)? Je suis intéressé par sa complexité temporelle compte tenu également de l'hyperparamètre k . J'ai trouvé des réponses contradictoires: O (nd + kn), où n est la cardinalité de …

18 k-nearest-neighbour  time-complexity 

Je suppose que c'est une question fondamentale et cela a à voir avec la direction du gradient lui-même, mais je cherche des exemples où les méthodes de 2ème ordre (par exemple BFGS ) sont plus efficaces qu'une simple descente de gradient.

18 optimization 

Supposons qu'une bonne pièce soit lancée à plusieurs reprises jusqu'à ce qu'une tête soit obtenue pour la première fois. Quel est le nombre prévu de lancers qui seront nécessaires? Quel est le nombre attendu de queues qui seront obtenues avant l'obtention de la première tête?

18 probability  self-study  expected-value  bernoulli-distribution  geometric-distribution 

Considérons les deux distributions de probabilité suivantes P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 J'ai calculé la divergence Kullback-Leibler qui est égale à , je veux savoir en général ce que ce nombre me montre? En général, …

18 interpretation  information-theory  kullback-leibler 

Je veux vraiment en savoir plus sur les techniques bayésiennes, j'ai donc essayé de m'enseigner un peu. Cependant, j'ai du mal à voir que l'utilisation de techniques bayésiennes confère un avantage sur les méthodes fréquentistes. Par exemple: j'ai vu dans la littérature un peu comment certains utilisent des prieurs informatifs …

18 bayesian  frequentist