Statistiques et Big Data

2

Comment savoir quand un graphique atteint un sommet et des plateaux?

Cela peut sembler très basique, mais j'ai ce problème: j'ai une file d'attente de données avec une taille de fenêtre de 300. De nouvelles données sont ajoutées à une extrémité, les anciennes valeurs sont supprimées de l'autre extrémité. Je m'attends à ce que les données de la file d'attente restent …

9 time-series maximum

2

Évaluation des pics dans les séries temporelles des données de signal cellulaire

Je mesure l'existence d'une réponse dans les mesures du signal cellulaire. J'ai d'abord appliqué un algorithme de lissage (Hanning) à la série temporelle de données, puis détecté les pics. Ce que je reçois est ceci: Si je voulais rendre la détection de la réponse un peu plus objective que "oui, …

9 time-series python signal-detection

3

Le paradoxe du magicien de prestige

Vous connaissez probablement l'astuce dans le film The Prestige : [SPOILER DU FILM] Un magicien a trouvé un tour de magie impressionnant: il entre dans une machine, ferme la porte, puis disparaît et réapparaît de l'autre côté de la pièce. Mais la machine n'est pas parfaite: au lieu de simplement …

9 probability

5

Que puis-je faire au-delà de la corrélation de Pearson?

En vérifiant pour voir si deux variables étaient corrélées, j'ai observé que l'application de la corrélation de Pearson a produit des nombres aussi bas que 0,1, ce qui indique qu'il n'y a pas de corrélation. Puis-je faire quelque chose pour renforcer cette affirmation? L'ensemble de données (sous-ensemble en raison des …

9 correlation data-mining pearson-r

3

Comment vérifier des taux d'erreur extrêmement bas

Je dois essayer de démontrer en testant un taux d'erreur extrêmement faible pour un capteur (pas plus d'une erreur sur 1 000 000 de tentatives). Nous avons un temps limité pour mener l'expérience, nous prévoyons donc de ne pas pouvoir obtenir plus de 4 000 tentatives environ. Je ne vois …

9 survival sample-size quality-control

1

Estimer l'intervalle de confiance de la moyenne par méthode bootstrap t ou simplement par bootstrap?

Lors de l'estimation de l'intervalle de confiance de la moyenne, je pense que la méthode bootstrap t et la méthode bootstrap non paramétrique peuvent s'appliquer, mais la première nécessite un peu plus de calcul. Je me demande quels sont les avantages et les inconvénients du bootstrap t par rapport au …

9 confidence-interval bootstrap

3

Algorithme Apriori en anglais simple?

J'ai lu un article wiki sur Apriori. J'ai du mal à comprendre le pruneau et l'étape Join. Quelqu'un peut-il m'expliquer comment l'algorithme Apriori fonctionne en termes simples (de telle sorte que les novices comme moi peuvent facilement comprendre)? Ce sera bien si quelqu'un explique le processus étape par étape qui …

9 data-mining algorithms frequentist

5

Des corrections de comparaisons multiples sont-elles nécessaires pour les «comparaisons multiples» informelles / visuelles?

J'ai une sorte de question philosophique sur le moment où une correction de comparaison multiple est nécessaire. Je mesure un signal variant dans le temps continu (à des moments discrets). Des événements distincts ont lieu de temps en temps et je voudrais établir si ces événements ont un effet significatif …

9 hypothesis-testing multiple-comparisons

2

Quel type de régression utiliser, en considérant une variable avec une limite supérieure?

Je ne sais pas quelle méthode utiliser pour modéliser la relation entre deux variables ( et ) dans l'expérience décrite comme suit:yXxxyyy Il y a 3 variables: , et . x yXa je mxaimx_{aim}Xxxyyy La valeur de est définie lors du fonctionnement de l'expérience. Cependant, et ne sont pas toujours …

9 regression correlation

4

Pourquoi un test t est-il nécessaire étant donné que nous avons le test z?

Quelqu'un peut-il expliquer pourquoi le test t "se produit"? On m'a appris à utiliser le test t lorsque vous ne connaissez pas l'écart-type de la population (c'est-à-dire que vous ne connaissez que l'écart-type de votre échantillon), mais je ne sais pas pourquoi cela le rendrait différent d'un test z .

9 hypothesis-testing t-test

4

Peut-on laisser de côté les données de la recherche car elles ne sont pas significatives?

J'ai rencontré cette phrase en lisant un article sur sciencemag.org . Au final, les réponses de seulement 7600 chercheurs dans 12 pays ont été incluses car les données restantes n'étaient pas considérées comme statistiquement significatives. Est-ce une bonne façon de faire de la recherche? Oublier les résultats parce qu'ils n'étaient …

9 statistical-significance sampling outliers theory

3

Comment sélectionner rapidement des variables importantes dans un très grand ensemble de données?

J'ai un ensemble de données avec environ 2 000 variables binaires / 200 000 lignes et j'essaie de prédire une seule variable dépendante binaire. Mon objectif principal à ce stade n'est pas d'obtenir l'exactitude des prévisions, mais plutôt d'identifier lesquelles de ces variables sont des prédicteurs importants. J'aimerais ramener le …

9 machine-learning data-mining large-data

2

Vous testez la différence de (certains) quantiles-Q entre les groupes?

Pour une variable Y, divisée en 3 groupes (X), je souhaite comparer les groupes et pour l'hypothèse que le quantile à 90% est le même entre les trois groupes. Quels tests puis-je utiliser? Une option à laquelle je peux penser est d'utiliser la régression quantile, existe-t-il d'autres alternatives / approuches? …

9 hypothesis-testing anova median quantiles kruskal-wallis

2

L'échantillonnage à partir d'une distribution normale repliée est-il équivalent à l'échantillonnage à partir d'une distribution normale tronqué à 0?

Je souhaite simuler à partir d'une densité normale (disons moyenne = 1, sd = 1) mais ne souhaite que des valeurs positives. Une façon consiste à simuler à partir d'une normale et à prendre la valeur absolue. Je pense à cela comme une normale pliée. Je vois dans R il …

9 normal-distribution simulation truncation

2

Autoriser les données à dicter les priorités, puis exécuter le modèle à l'aide de ces priorités? (p. ex., a priori axés sur les données provenant du même ensemble de données)

Je crois comprendre que nous ne devrions pas autoriser le même ensemble de données que nous analysons à déterminer / définir à quoi ressemblent les distributions antérieures dans une analyse bayésienne. Plus précisément, il est inapproprié de définir des distributions antérieures pour une analyse bayésienne sur la base de statistiques …

9 bayesian prior