Statistiques et Big Data

4

Quel est l'intérêt de rapporter des statistiques descriptives?

Je viens d'effectuer une analyse de mes données en utilisant la régression logistique, mais je dois également avoir une partie statistique descriptive dans mon rapport. Honnêtement, je ne vois pas l'intérêt de cela et j'espérais que quelqu'un pourrait expliquer pourquoi c'est nécessaire. Par exemple, si je trace un histogramme d'une …

21 descriptive-statistics reporting

1

Montrant que 100 mesures pour 5 sujets fournissent beaucoup moins d'informations que 5 mesures pour 100 sujets

Lors d'une conférence, j'ai entendu la déclaration suivante: 100 mesures pour 5 sujets fournissent beaucoup moins d'informations que 5 mesures pour 100 sujets. C'est un peu évident que c'est vrai, mais je me demandais comment on pouvait le prouver mathématiquement ... Je pense qu'un modèle mixte linéaire pourrait être utilisé. …

21 mixed-model variance repeated-measures sample-size intraclass-correlation

4

Étant donné une taille d'échantillon suffisamment grande, un test montrera toujours un résultat significatif, sauf si la taille réelle de l'effet est exactement nulle. Pourquoi?

Je suis curieux d'une affirmation faite dans l'article de Wikipedia sur la taille de l'effet . Plus précisément: [...] une comparaison statistique non nulle montrera toujours des résultats statistiquement significatifs à moins que la taille de l'effet de population soit exactement nulle Je ne suis pas sûr de ce que …

21 hypothesis-testing

2

La limite de l'estimateur de régression de crête de «variance unitaire» lorsque

Considérons la régression de crête avec une contrainte supplémentaire exigeant que ait une somme unitaire de carrés (de manière équivalente, la variance unitaire); si nécessaire, on peut supposer que a également une somme unitaire de carrés: yy^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf …

21 pca regularization ridge-regression partial-least-squares constrained-regression

1

Interprétation des variables latentes des modèles linéaires généralisés (GLM)

Version courte: Nous savons que la régression logistique et la régression probit peuvent être interprétées comme impliquant une variable latente continue qui est discrétisée selon un seuil fixe avant l'observation. Une interprétation similaire des variables latentes est-elle disponible pour, disons, la régression de Poisson? Qu'en est-il de la régression binomiale …

21 logistic generalized-linear-model poisson-regression probit latent-variable

1

t-SNE contre MDS

J'ai lu récemment des questions sur t-SNE ( t-Distributed Stochastic Neighbour Embedding ) et j'ai également visité quelques questions sur MDS ( Multidimensional Scaling ). Ils sont souvent utilisés de manière analogue, il semblait donc judicieux de poser cette question, car il y a de nombreuses questions séparément (ou par …

21 data-visualization dimensionality-reduction multidimensional-scaling tsne

5

Qu'est-ce qui rend la moyenne de certaines distributions non définie?

De nombreux fichiers PDF vont de moins à l'infini positif, mais certains moyens sont définis et d'autres non. Quel trait commun rend certains calculables?

21 distributions mean

4

Différence entre les hypothèses sous-jacentes à une corrélation et un test de pente de régression significatif

Ma question est née d'une discussion avec @whuber dans les commentaires d'une autre question . Plus précisément, le commentaire de @whuber était le suivant: Une des raisons pour lesquelles cela pourrait vous surprendre est que les hypothèses sous-jacentes à un test de corrélation et à un test de pente de …

21 regression correlation p-value assumptions

7

Quelqu'un peut-il aider à expliquer la différence entre indépendant et aléatoire?

En statistiques, indépendant et aléatoire décrivent-ils les mêmes caractéristiques? Quelle est la différence entre eux? Nous rencontrons souvent la description comme «deux variables aléatoires indépendantes» ou «échantillonnage aléatoire». Je me demande quelle est la différence exacte entre eux. Quelqu'un peut-il expliquer cela et donner des exemples? par exemple un processus …

21 distributions sampling randomness

2

Machine Boltzmann restreinte: comment est-elle utilisée dans l'apprentissage automatique?

Contexte: Oui, la machine Boltzmann restreinte (RBM) PEUT être utilisée pour initier les poids d'un réseau neuronal. De plus, il PEUT être utilisé de manière "couche par couche" pour construire un réseau de croyances profondes (c'est-à-dire pour former une -ième couche sur le dessus de la -ième couche, puis pour …

21 machine-learning neural-networks deep-learning deep-belief-networks rbm

4

Les algorithmes d'apprentissage automatique ou d'apprentissage profond peuvent-ils être utilisés pour «améliorer» le processus d'échantillonnage d'une technique MCMC?

Sur la base du peu de connaissances que j'ai sur les méthodes MCMC (Markov chain Monte Carlo), je comprends que l'échantillonnage est une partie cruciale de la technique susmentionnée. Les méthodes d'échantillonnage les plus couramment utilisées sont l'hamiltonien et la métropole. Existe-t-il un moyen d'utiliser l'apprentissage automatique ou même l'apprentissage …

21 machine-learning mcmc monte-carlo markov-process

5

Sur-ajustement: pas de solution miracle?

Ma compréhension est que même en suivant les procédures appropriées de validation croisée et de sélection de modèle, un sur-ajustement se produira si l'on recherche un modèle assez dur , à moins d'imposer des restrictions sur la complexité du modèle, point final. De plus, il arrive souvent que les gens …

21 machine-learning cross-validation goodness-of-fit scikit-learn caret

3

Pourquoi la distribution logistique est-elle appelée «logistique»?

Qu'est-ce que la «logistique» dans la distribution logistique, au sens commun? Quelle est l'étymologie et la justification lexicale du nom, pas seulement la pure définition mathématique?

21 terminology history etymology logistic-curve logistic-distribution

3

La descente de gradient est-elle possible pour les SVM noyés (si oui, pourquoi les gens utilisent-ils la programmation quadratique)?

Pourquoi les gens utilisent-ils des techniques de programmation quadratique (comme SMO) lorsqu'ils traitent avec des SVM noyés? Quel est le problème avec Gradient Descent? Est-il impossible de l'utiliser avec des noyaux ou est-ce simplement trop lent (et pourquoi?). Voici un peu plus de contexte: en essayant de mieux comprendre les …

21 svm kernel-trick gradient-descent

1

Ensembles de données de type Anscombe avec le même tracé de boîte et de moustaches (moyenne / std / médiane / MAD / min / max)

EDIT: Comme cette question a été gonflée, un résumé: trouver différents ensembles de données significatifs et interprétables avec les mêmes statistiques mixtes (moyenne, médiane, milieu de gamme et leurs dispersions associées, et régression). Le quatuor Anscombe (voir Objectif de visualiser des données de grande dimension? ) Est un exemple célèbre …

21 regression descriptive-statistics curve-fitting estimators