Statistiques et Big Data

1

Hypothèses du modèle linéaire généralisé

J'ai créé un modèle linéaire généralisé avec une seule variable de réponse (continue / normalement distribuée) et 4 variables explicatives (dont 3 sont des facteurs et la quatrième est un entier). J'ai utilisé une distribution d'erreur gaussienne avec une fonction de lien d'identité. Je vérifie actuellement que le modèle satisfait …

14 regression generalized-linear-model ancova assumptions scatterplot

3

Mesure statistique pour savoir si une image est constituée de régions distinctes connectées spatialement

Considérez ces deux images en niveaux de gris: La première image montre un modèle de rivière sinueuse. La deuxième image montre un bruit aléatoire. Je cherche une mesure statistique que je peux utiliser pour déterminer s'il est probable qu'une image montre un modèle de rivière. L'image de la rivière a …

14 variance spatial pattern-recognition

2

Expliquer la régression quantile aux non-statisticiens

J'ai récemment soumis un article, dans lequel j'ai utilisé la régression quantile, à un journal de psychologie. Bien que je pensais avoir déjà suffisamment réfléchi à une présentation claire de la régression quantile, les examinateurs ont demandé de meilleures explications sur la technique de régression quantile, étant seulement familier avec …

14 quantile-regression teaching

1

Modélisation linéaire à effets mixtes avec des données d'étude jumelles

Supposons que j'ai une variable de réponse yijyijy_{ij} qui a été mesurée à partir du jjj e frère de la iii e famille. De plus, certaines données comportementales xijxijx_{ij} ont été collectées en même temps auprès de chaque sujet. J'essaie d'analyser la situation avec le modèle linéaire à effets mixtes …

14 mixed-model lme4-nlme covariance-matrix non-independent

1

Que signifient les flèches dans un biplot PCA?

Considérez le biplot PCA suivant: library(mvtnorm) set.seed(1) x <- rmvnorm(2000, rep(0, 6), diag(c(5, rep(1,5)))) x <- scale(x, center=T, scale=F) pc <- princomp(x) biplot(pc) Il y a un tas de flèches rouges tracées, que signifient-elles? Je savais que la première flèche étiquetée "Var1" devrait pointer dans la direction la plus variable …

14 r pca linear-algebra biplot

4

Vérifier si l'amélioration de la précision est significative

Supposons que j'ai un algorithme qui classe les choses en deux catégories. Je peux mesurer la précision de l'algorithme sur, disons, 1000 choses de test - supposons que 80% des choses sont classées correctement. Supposons que je modifie l'algorithme de manière à ce que 81% des choses soient classées correctement. …

14 statistical-significance classification

2

Descente de gradient vs fonction lm () dans R?

Je passe en revue les vidéos du cours gratuit d' apprentissage automatique en ligne d' Andrew Ng à Stanford. Il décrit Gradient Descent comme un algorithme pour résoudre la régression linéaire et écrire des fonctions dans Octave pour l'exécuter. Vraisemblablement, je pourrais réécrire ces fonctions dans R, mais ma question …

14 r regression machine-learning gradient-descent

4

Qu'est-ce que le hasard?

En probabilités et statistiques, les notions de "aléatoire" et de "caractère aléatoire" sont fréquemment utilisées. Souvent, le concept d'une variable aléatoire est utilisé pour modéliser les événements qui se produisent par hasard. Ma question concerne le terme "aléatoire". Qu'est-ce qui est aléatoire? Le hasard existe-t-il vraiment? Je suis curieux de …

14 interpretation terminology

9

Référence avec des distributions avec diverses propriétés

Je me retrouve souvent à poser des questions comme: «Je sais que cette variable xxx réside dans (0,1)(0,1)(0,1) et que la majeure partie de la masse se situe dans (0,.20)(0,.20)(0,.20) , puis décline continuellement vers 1. Quelle distribution puis-je utiliser pour la modéliser? " En pratique, je me retrouve à …

14 distributions references

3

Théorème central limite versus loi des grands nombres

Le théorème central limite indique que la moyenne des variables iid, lorsque va à l'infini, devient normalement distribuée.NNN Cela soulève deux questions: Peut-on en déduire la loi des grands nombres? Si la loi des grands nombres dit que la moyenne d'un échantillon des valeurs d'une variable aléatoire est égale à …

14 probability central-limit-theorem law-of-large-numbers

4

Estimation du point de rupture dans un modèle linéaire bâton / morceau par morceaux avec des effets aléatoires dans R [code et sortie inclus]

Quelqu'un peut-il me dire comment R peut estimer le point de rupture dans un modèle linéaire par morceaux (en tant que paramètre fixe ou aléatoire), alors que j'ai également besoin d'estimer d'autres effets aléatoires? J'ai inclus un exemple de jouet ci-dessous qui correspond à une régression de bâton de hockey …

14 r mixed-model lme4-nlme change-point piecewise-linear

8

Comment faire une régression linéaire par morceaux avec plusieurs nœuds inconnus?

Existe-t-il des packages pour effectuer une régression linéaire par morceaux, qui peut détecter automatiquement les nœuds multiples? Merci. Lorsque j'utilise le package strucchange. Je n'ai pas pu détecter les points de changement. Je ne sais pas comment il détecte les points de changement. À partir des parcelles, je pouvais voir …

14 regression change-point

4

Comment commencer à lire sur l'exploration de données?

Je suis un novice qui va commencer à lire sur l'exploration de données. J'ai une connaissance de base de l'IA et des statistiques. Étant donné que beaucoup disent que l'apprentissage automatique joue également un rôle important dans l'exploration de données, est-il nécessaire de lire sur l'apprentissage automatique avant de pouvoir …

14 machine-learning references data-mining

4

Implémentation de k-means avec matrice de distance personnalisée en entrée

Quelqu'un peut-il me signaler une implémentation de k-means (ce serait mieux si dans matlab) qui peut prendre la matrice de distance en entrée? L'implémentation matlab standard nécessite la matrice d'observation en entrée et il n'est pas possible de modifier la mesure de similitude de façon personnalisée.

14 clustering matlab k-means

3

Comment calculer la probabilité associée à des scores Z absurdement élevés?

Les progiciels pour la détection de motifs de réseau peuvent renvoyer des scores Z extrêmement élevés (le plus élevé que j'ai vu est 600 000+, mais des scores Z de plus de 100 sont assez courants). Je prévois de montrer que ces scores Z sont faux. D'énormes scores Z correspondent …

14 probability normal-distribution p-value approximation z-statistic