Statistiques et Big Data

4

Classificateur pour les étiquettes de classe incertaines

Disons que j'ai un ensemble d'instances avec des étiquettes de classe associées. Peu importe comment ces instances ont été étiquetées, mais la certitude de leur appartenance à la classe. Chaque instance appartient à exactement une classe. Disons que je peux quantifier la certitude de chaque appartenance à une classe avec …

11 classification weka uncertainty

3

Distance entre deux mélanges gaussiens pour évaluer les solutions de cluster

J'exécute une simulation rapide pour comparer différentes méthodes de clustering et je suis actuellement confronté à un problème en essayant d'évaluer les solutions de cluster. Je connais différentes métriques de validation (beaucoup se trouvent dans cluster.stats () dans R), mais je suppose que celles-ci sont mieux utilisées si le nombre …

11 clustering kullback-leibler gaussian-mixture

2

Tracé des limites de décision pour un perceptron

J'essaie de tracer la frontière de décision d'un algorithme perceptron et je suis vraiment confus à propos de quelques choses. Mes instances d'entrée sont sous la forme , essentiellement une instance d'entrée 2D ( et ) et une valeur cible de classe binaire ( ) [1 ou 0].[(x1,x2),y][(x1,x2),y][(x_{1},x_{2}), y]x1x1x_{1}x2x2x_{2}yyy Mon …

11 machine-learning neural-networks python decision-theory perceptron

1

Motivation derrière les étapes de l'algorithme de forêt aléatoire

La méthode que je connais pour construire une forêt aléatoire est la suivante: (à partir de http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ) Pour construire un arbre dans la forêt, nous: Bootstrap un échantillon de taille N où N est la taille de notre ensemble d'entraînement. Utilisez cet exemple amorcé comme ensemble de formation pour …

11 machine-learning classification random-forest

2

Pourquoi les modèles à effets aléatoires exigent-ils que les effets ne soient pas corrélés avec les variables d'entrée, alors que les modèles à effets fixes permettent une corrélation?

De Wikipédia Il existe deux hypothèses communes concernant l'effet spécifique individuel, l'hypothèse d'effets aléatoires et l'hypothèse d'effets fixes. L'hypothèse des effets aléatoires (faite dans un modèle à effets aléatoires) est que les effets spécifiques individuels ne sont pas corrélés avec les variables indépendantes. L'hypothèse de l'effet fixe est que l'effet …

11 random-effects-model fixed-effects-model

3

Tracé cumulatif / cumulatif (ou «Visualisation d'une courbe de Lorenz»)

Je ne sais pas comment ces complots sont appelés et j'ai donc donné à cette question un titre stupide. Disons que j'ai un ensemble de données ordonné comme suit 4253 4262 4270 4383 4394 4476 4635 ... Chaque numéro correspond au nombre de publications qu'un certain utilisateur a contribué à …

11 r distributions data-visualization

2

Pourquoi la densité postérieure est-elle proportionnelle à la densité antérieure multipliée par la fonction de vraisemblance?

Selon le théorème de Bayes, . Mais selon mon texte économétrique, il est dit que . Pourquoi est-ce comme ça? Je ne comprends pas pourquoi est ignoré.P ( θ | y ) ∝ P ( y | θ ) P ( θ ) P ( y )P( y| θ)P( θ …

11 bayesian conditional-probability likelihood

3

Question sur une preuve d'équation normale

Comment pouvez-vous prouver que les équations normales: ont une ou plusieurs solutions sans supposer que X est inversible?(XTX)β=XTY(XTX)β=XTY(X^TX)\beta = X^TY Ma seule supposition est que cela a quelque chose à voir avec l'inverse généralisé, mais je suis totalement perdu.

11 regression proof

1

Comment prédire de nouvelles données avec spline / régression douce

Quelqu'un peut-il aider à donner une explication conceptuelle de la façon dont les prédictions sont faites pour les nouvelles données lors de l'utilisation de lissages / splines pour un modèle prédictif? Par exemple, étant donné un modèle créé à l'aide gamboostdu mboostpackage dans R, avec des p-splines, comment sont faites …

11 regression machine-learning predictive-models splines

2

Fisher pour les nuls?

Version courte: existe-t-il une introduction aux écrits de Ronald Fisher (articles et livres) sur les statistiques qui s'adresse à ceux qui ont peu ou pas de connaissances en statistiques? Je pense à quelque chose comme un "lecteur Fisher annoté" destiné aux non-statisticiens. J'explique la motivation de cette question ci-dessous, mais …

11 references history fiducial ronald-fisher

4

Tests statistiques intégrant l'incertitude de mesure

Supposons que l'on me donne deux groupes de mesures de masse (en mg), appelés y1 et y2. Je veux faire un test pour déterminer si les deux échantillons proviennent de populations avec des moyens différents. Quelque chose comme ça par exemple (en R): y1 <- c(10.5,2.9,2.0,4.4,2.8,5.9,4.2,2.7,4.7,6.6) y2 <- c(3.8,4.3,2.8,5.0,9.3,6.0,7.6,3.8,6.8,7.9) t.test(y1,y2) …

11 hypothesis-testing

3

Bons livres / articles sur la notation du crédit

Je recherche des recommandations de livres sur la notation du crédit. Je suis intéressé par tous les aspects de ce problème, mais surtout par: 1) Les bonnes fonctionnalités. Comment les construire? Lesquels se sont révélés bons? 2) Réseaux de neurones. Leur application au problème de notation de crédit. 3) J'ai …

11 references finance credit-scoring

1

Combiner deux matrices de covariance

Je calcule la covariance d'une distribution en parallèle et j'ai besoin de combiner les résultats distribués en gaussien singulier. Comment combiner les deux? L'interpolation linéaire entre les deux fonctionne presque, si elles sont distribuées et dimensionnées de manière similaire. Wikipedia fournit un forumla en bas pour la combinaison mais cela …

11 covariance moments

2

Interprétation de la fonction récapitulative pour le modèle lm dans R

Quelle est la signification de t valueet Pr(>|t|)lors de l'utilisation de la summary()fonction sur le modèle de régression linéaire dans R? Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 10.1595 1.3603 7.469 1.11e-13 *** log(var) 0.3422 0.1597 2.143 0.0322 *

11 r regression generalized-linear-model

2

Combien de calcul est nécessaire pour comprendre l'estimation du maximum de vraisemblance?

J'essaie de planifier un plan d'étude pour apprendre le MLE. Pour ce faire, j'essaie de déterminer quel est le niveau minimum de calcul nécessaire pour comprendre le MLE. Est-il suffisant de comprendre les bases du calcul (c'est-à-dire trouver le minimum et le maximum de fonctions) pour comprendre le MLE?

11 estimation mathematical-statistics maximum-likelihood