Statistiques et Big Data

2

Probabilité de lettres apparaissant dans l'ordre dans une chaîne

Supposons que nous ayons un alphabet contenant symboles, , où , et \ Pr (\ $) = 1 - (\ Pr (a) + \ Pr (b) + \ cdots) = 1-mp .m+1m+1m+1{a,b,c,d,e,...,$}{a,b,c,d,e,...,$}\{a, b, c, d, e,..., \$\}p=Pr(a)=Pr(b)=⋯p=Pr(a)=Pr(b)=⋯p = \Pr(a) = \Pr(b) =\cdotsPr ( $ ) = 1 - ( Pr …

8 probability combinatorics

3

Dois-je déranger que la puissance du test t soit relativement faible lorsque H0 est déjà rejeté?

J'ai deux très petits échantillons (n = 7n=7n=7pour chacun) et j'obtiens une puissance de test t à deux échantillons pour 0,49, ce qui est relativement petit (calculé par R power.t.test()). Cependant, le test t Welch Two Sample donne une valeur de p de0,0320.0320.032 ici, et donc l'hypothèse nulle peut être …

8 hypothesis-testing t-test power type-i-and-ii-errors

1

Définition exacte de Maxout

J'ai essayé de comprendre ce que cela signifiait exactement par la fonction d'activation "Maxout" dans les réseaux de neurones. Il y a cette question, cet article, et même dans le livre Deep Learning de Bengio et al. , sauf avec juste un peu d'informations et un gros TODO à côté. …

8 machine-learning neural-networks

2

Simuler à partir de l'estimation de la densité du noyau (PDF empirique)

J'ai un vecteur Xd' N=900observations qui est mieux modélisé par un estimateur de densité de bande passante globale (les modèles paramétriques, y compris les modèles de mélange dynamique, se sont avérés ne pas être de bons ajustements): Maintenant, je veux simuler à partir de ce KDE. Je sais que cela …

8 distributions sampling bootstrap simulation kernel-smoothing

1

Quel est le terme pour le produit d'une probabilité et son complément?

La cote d'un événement est le quotient de la probabilité de l'événement et de son complément; c'est-à-dire , si .UNEAA p / ( 1 - p )p/(1−p)p/(1-p)p = P( A )p=P(A)p = P(A) Y a-t-il un nom pour ce terme: ? (Également apparaissant parfois comme .)p ( 1 - p …

8 probability terminology

1

Quel est l'équivalent pour cdfs de MCMC pour pdfs?

En conjonction avec une question de validation croisée sur la simulation à partir d'une copule spécifique, c'est-à-dire un cdf multivarié défini sur , j'ai commencé à m'interroger sur l'image plus grande, à savoir comment, Lorsqu'on lui donne une telle fonction, peut-on imaginer un algorithme générique pour simuler à partir de …

8 multivariate-analysis simulation mcmc copula

2

Éléments des alternatives d'apprentissage statistique

Elements of Statistical Learning (ESL) est un livre d'une ampleur et d'une profondeur fantastiques. Il couvre l'essentiel des méthodes très modernes en citant les articles d'où proviennent ces études originales. Cependant, je trouve vraiment le langage du livre très très prohibitif. Je pense qu'il existe un moyen plus simple de …

8 self-study statistical-learning

1

Visualisation de l'ACP dans R: points de données, vecteurs propres, projections, ellipse de confiance

J'ai un ensemble de données de 17 personnes, classant 77 déclarations. Je veux extraire les principaux composants sur une matrice de corrélation transposée de corrélations entre les personnes (en tant que variables) à travers les déclarations (en tant que cas). Je sais, il est étrange, on l'appelle Q Méthodologie . …

8 r data-visualization pca ggplot2 eigenvalues

1

Pourquoi Lucene IDF a-t-il un +1 apparemment supplémentaire?

De la documentation de Lucene IDF=1+log(numDocsdocFreq+1)IDF=1+log⁡(numDocsdocFreq+1)\text{IDF} = 1 + \log\left(\frac{\text{numDocs}}{\text{docFreq}+1}\right) Dans d'autres références (c'est-à-dire wikipedia ), l'IDF est généralement calculé comme ou pour éviter de plonger de 0.log(numDocsdocFreq)log⁡(numDocsdocFreq)\log\left(\frac{\text{numDocs}}{\text{docFreq}}\right)log(numDocsdocFreq+1)log⁡(numDocsdocFreq+1)\log\left(\frac{\text{numDocs}}{\text{docFreq}+1}\right) Je me rends également compte que Lucene utilise plutôt que pour calculer TF, mais ma compréhension est que ce n'est qu'une transformation …

8 information-retrieval tf-idf

1

Quelle est la meilleure façon de visualiser la régression de différence dans les différences (multi-période)?

Quelle est la meilleure façon de visualiser la différence dans les différences pour le traitement binaire et continu? Dois-je régresser la variable de résultat sur l'ensemble des contrôles mais exclure la variable de traitement et tracer les résidus dans chaque groupe (cas binaire)? Existe-t-il un moyen de voir la "dynamique" …

8 data-visualization causality treatment-effect difference-in-difference

4

Régression des pays en développement: PIB-croissance ou PIB

Pour ma thèse de maîtrise, je veux essentiellement savoir pourquoi les pays en développement stagnent. À côté des aspects théoriques, je veux également faire une régression. Je veux régresser le PIB ou la croissance du PIB en tant que variable dépendante de nombreuses variables indépendantes, telles que le mandat du …

8 regression econometrics panel-data macroeconomics

1

Mécanique derrière l'écart de la distribution aléatoire

Le système sur lequel nous travaillons est biologique, plus précisément la distribution des événements programmés de dommages à l'ADN à travers un chromosome. Cela peut être considéré comme un réseau 1D (le chromosome) à travers lequel des points peuvent être choisis (les sites de dommages intentionnels). Nous avons cartographié les …

8 probability distributions mathematical-statistics matlab

1

Régularisation et projection sur la balle

J'essaie de comprendre comment fonctionne la régularisation en termes de projections sur une boule et de projection euclidienne sur le simplexe.l∗l∗l_* Je ne suis pas sûr de comprendre ce que nous voulons dire lorsque nous le vecteur de poids sur les ou .l1l1l_1l2l2l_2 Je peux comprendre le concept de régularisation …

8 optimization regularization projection

1

Un moyen efficace pour calculer les distances entre les centroïdes à partir de la matrice de distance

Faisons matrice carrée symétrique des carrés des distances euclidiennes entre points et vecteur lengthed indiquant cluster ou appartenance à un groupe ( clusters) des points; un cluster peut consister en un point .DD\bf Dnnnnnnkkk≥1≥1\ge1 Quel est le moyen le plus efficace ou vraiment efficace (en termes de vitesse) pour calculer …

8 clustering mean distance euclidean

2

Pourquoi signaler R au carré?

Si le R ajusté au carré est supérieur au R au carré, pourquoi le logiciel statistique continue-t-il de signaler ce dernier? Existe-t-il une sorte de situation où un chercheur peut préférer utiliser R au carré au lieu de R ajusté au carré?

8 regression