Statistiques et Big Data

1

Régression des moindres carrés partiels dans R: pourquoi le PLS sur des données standardisées n'est-il pas équivalent à maximiser la corrélation?

Je suis très nouveau dans les moindres carrés partiels (PLS) et j'essaie de comprendre la sortie de la fonction R plsr()dans le plspackage. Simulons les données et exécutons le PLS: library(pls) n <- 50 x1 <- rnorm(n); xx1 <- scale(x1) x2 <- rnorm(n); xx2 <- scale(x2) y <- x1 + …

12 r regression partial-least-squares

2

Test statistique pour une valeur nettement plus éloignée de la moyenne de la population: s'agit-il d'un test Z ou d'un test T?

Quelle est l'importance d'une valeur par rapport à une liste de valeurs? Dans la plupart des cas, les tests statistiques consistent à comparer un ensemble d'échantillons à une population. Dans mon cas, l'échantillon est constitué d'une valeur et nous le comparons à la population. Je suis un dilettante dans les …

12 hypothesis-testing statistical-significance

2

Validation croisée et régression logistique ordinale

J'essaie de comprendre la validation croisée pour la régression logistique ordinale. Le but du jeu est de valider le modèle utilisé dans une analyse ... Je construis d'abord un ensemble de données sur les jouets: set.seed(1) N <- 10000 # predictors x1 <- runif(N) x2 <- runif(N) x3 <- runif(N) …

12 regression cross-validation ordered-logit rms

1

Comprendre le théorème du déjeuner gratuit dans la classification des motifs de Duda et al

J'ai des questions sur les notations utilisées dans la section 9.2 Absence de supériorité inhérente de tout classificateur dans la classification des modèles de Duda, Hart et Stork . Permettez-moi d'abord de citer un texte pertinent du livre: Pour simplifier, considérons un problème à deux catégories, où l'ensemble d'apprentissage compose …

12 machine-learning

1

Étapes pour comprendre une distribution postérieure alors qu'elle pourrait être assez simple pour avoir une forme analytique?

Cela a également été demandé à Computational Science. J'essaie de calculer une estimation bayésienne de certains coefficients pour une autorégression, avec 11 échantillons de données: Ouije= μ + α ⋅Ouii - 1+ ϵjeOuije=μ+α⋅Ouije-1+ϵje Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i} oùϵjeϵje\epsilon_{i} est gaussien avec moyenne 0 et varianceσ2eσe2\sigma_{e}^{2} La distribution …

12 bayesian mathematical-statistics posterior

1

Un ensemble d'entraînement clairsemé affecte-t-il négativement un SVM?

J'essaie de classer les messages en différentes catégories à l'aide d'un SVM. J'ai compilé une liste de mots / symboles souhaitables à partir de l'ensemble de formation. Pour chaque vecteur, qui représente un message, je mets la ligne correspondante à 1si le mot est présent: "corpus" est: [mary, little, lamb, …

12 classification svm sparse

2

Une ingénierie des fonctionnalités indépendante du domaine qui conserve une signification sémantique?

L'ingénierie des fonctionnalités est souvent un élément important de l'apprentissage automatique (elle a été largement utilisée pour remporter la Coupe KDD en 2010 ). Cependant, je trouve que la plupart des techniques d'ingénierie des fonctionnalités détruire toute signification intuitive des caractéristiques sous-jacentes ou sont très spécifiques à un domaine particulier …

12 predictive-models feature-selection feature-construction

2

Application de l'apprentissage automatique pour le filtrage DDoS

Dans le cours d'apprentissage automatique de Stanford, Andrew Ng a mentionné l'application du ML en informatique. Quelque temps plus tard, lorsque j'ai obtenu des DDoS de taille modérée (environ 20 000 bots) sur notre site, j'ai décidé de lutter contre ce problème en utilisant un simple classificateur de réseau neuronal. …

12 classification neural-networks unsupervised-learning

4

Analyse de puissance pour la régression logistique ordinale

Je recherche un programme (en R ou SAS ou autonome, s'il est gratuit ou peu coûteux) qui fera une analyse de puissance pour la régression logistique ordinale.

12 logistic power-analysis ordered-logit

2

Prédire plusieurs cibles ou classes?

Supposons que je construis un modèle prédictif où j'essaie de prédire plusieurs événements (par exemple, le lancer d'un dé et le tirage au sort d'une pièce). La plupart des algorithmes que je connais ne fonctionnent qu'avec une seule cible, alors je me demande s'il existe une approche standard pour ce …

12 machine-learning classification predictive-models multi-class

2

Ajustement de la valeur de p pour l'analyse séquentielle adaptative (pour le test du chi carré)?

Je souhaite savoir quelle littérature statistique est pertinente pour le problème suivant, et peut-être même une idée sur la façon de le résoudre. Imaginez le problème suivant: Nous avons 4 traitements possibles pour certaines maladies. Afin de vérifier quel traitement est le meilleur, nous effectuons un essai spécial. Dans l'essai, …

12 hypothesis-testing chi-squared p-value multiple-comparisons sequential-analysis

1

Quel est l'ordre de corrélation?

Qu'expriment les termes ordre de corrélation zéro, premier, deuxième, troisième, etc. Merci!

12 correlation

2

SVM, interaction variable et ajustement des données de formation

J'ai 2 questions générales / plus théoriques. 1) Je suis curieux de savoir comment les SVM gèrent les interactions variables lors de la construction de modèles prédictifs. Par exemple, si j'ai deux fonctionnalités f1 et f2 et que la cible dépend de f1, f2 et disons f1 * f2 (ou …

12 machine-learning predictive-models svm interaction

1

Nom de l'erreur moyenne absolue analogue au score de Brier?

La question d'hier Déterminer l'exactitude du modèle qui estime la probabilité d'un événement m'a rendu curieux au sujet de la notation des probabilités. Le score de Brier est une mesure d'erreur quadratique moyenne. Est-ce que l'analogue signifie une mesure absolue des performances d'erreur absolue avoir un nom aussi?1N∑i=1N(predictioni−referencei)21N∑i=1N(predictioni−referencei)2\frac{1}{N}\sum\limits _{i=1}^{N}(prediction_i - …

12 classification error validation scoring-rules brier-score

2

RFM et modélisation de la valeur à vie du client dans R

Quelqu'un peut-il me dire comment modéliser la récence, la fréquence et la valeur monétaire (RFM) et la modélisation de la valeur client dans R? De plus, quelqu'un peut-il me renvoyer de la littérature à ce sujet?

12 r references marketing