Statistiques et Big Data

3

Existe-t-il une méthode générale de simulation des données à partir d'une formule ou d'une analyse?

Simulation de novo des données d'un bloc de données de conception expérimentale. En mettant l'accent sur R (même si une autre solution linguistique serait formidable). Lors de la conception d'une expérience ou d'une enquête, la simulation de données et la réalisation d'une analyse sur ces données simulées peuvent fournir un …

16 r experiment-design simulation

4

Normalisation avant validation croisée

La normalisation des données (pour avoir une moyenne nulle et un écart-type unitaire) avant d'effectuer une validation croisée multipliée par k a-t-elle des conséquences négatives telles qu'un sur-ajustement? Remarque: c'est pour une situation où #cases> total #features Je transforme certaines de mes données à l'aide d'une transformation de journal, puis …

16 cross-validation normalization

3

Comment expliqueriez-vous les modèles linéaires généralisés à des personnes sans formation statistique?

J'ai toujours du mal à expliquer les techniques statistiques à un public sans fond statistique. Si je voulais expliquer ce qu'est le GLM à un tel public (sans jeter de jargon statistique), quelle serait la meilleure façon ou la plus efficace? J'explique généralement le GLM en trois parties - (1) …

16 generalized-linear-model communication

2

Quelle distribution est la plus utilisée pour modéliser le temps de réponse du serveur?

J'ai une application basée sur servlet dans laquelle je mesure le temps nécessaire pour terminer chaque demande à ce servlet. Je calcule déjà des statistiques simples comme la moyenne et le maximum; Je voudrais cependant produire une analyse plus sophistiquée, et pour ce faire, je pense que je dois modéliser …

16 distributions web

6

Comment trouver des pics / vallées locaux dans une série de données?

Voici mon expérience: J'utilise la findPeaksfonction dans le package quantmod : Je veux détecter les pics "locaux" dans une tolérance de 5, c'est-à-dire les premiers emplacements après que la série chronologique ait chuté des pics locaux de 5: aa=100:1 bb=sin(aa/3) cc=aa*bb plot(cc, type="l") p=findPeaks(cc, 5) points(p, cc[p]) p La sortie …

16 r time-series

4

Quels sont les bons ensembles de données pour illustrer des aspects particuliers de l'analyse statistique?

Je me rends compte que c'est subjectif, mais j'ai pensé que ce serait bien de parler de nos ensembles de données préférés et de ce que nous pensons les rend intéressants. Il y a une multitude de données là-bas, et avec toutes les API (par exemple, Datamob ) ainsi que …

16 dataset

2

Poisson ou quasi poisson dans une régression avec données de comptage et surdispersion?

J'ai des données de comptage (analyse de l'offre / de la demande avec le nombre de clients, en fonction - éventuellement - de nombreux facteurs) J'ai essayé une régression linéaire avec des erreurs normales, mais mon tracé QQ n'est pas vraiment bon. J'ai essayé une transformation logarithmique de la réponse: …

16 count-data poisson-regression overdispersion quasi-likelihood

1

Besoin de centrer et de standardiser les données en régression

Considérez la régression linéaire avec une certaine régularisation: par exemple, trouver qui minimisexxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Habituellement, les colonnes de A sont normalisées pour avoir une moyenne et une norme unitaire nul, tandis que est centrée pour avoir une moyenne nulle. Je veux m'assurer que ma compréhension de la raison de …

16 regression lasso regularization standardization

6

Vitesse de calcul en R?

J'ai été chargé de déplacer l'un de nos grands modèles stochastiques actuels hors de SAS et dans un nouveau langage. Personnellement, je préfère un langage compilé traditionnel, mais le PI veut que je vérifie R, que je n'ai jamais utilisé. Notre motivation pour sortir le modèle de SAS est (1) …

16 r computing

2

Pourquoi une matrice de projection d'une projection orthogonale est-elle symétrique?

Je suis assez nouveau dans ce domaine, j'espère donc que vous me pardonnerez si la question est naïve. (Contexte: j'apprends l'économétrie à partir du livre de Davidson & MacKinnon "Econometric Theory and Methods" , et ils ne semblent pas l'expliquer; j'ai également regardé le livre d'optimisation de Luenberger qui traite …

16 regression least-squares

4

Modèle linéaire classique - sélection du modèle

J'ai un modèle linéaire classique, avec 5 régresseurs possibles. Ils ne sont pas corrélés entre eux et ont une corrélation assez faible avec la réponse. Je suis arrivé à un modèle où 3 des régresseurs ont des coefficients significatifs pour leur statistique t (p <0,05). L'ajout de l'une des deux …

16 r regression self-study linear-model

1

Quand utiliser la distance euclidienne pondérée et comment déterminer les poids à utiliser?

J'ai un ensemble de données où chaque donnée se compose de mesures différentes. Pour chaque mesure, j'ai une valeur de référence. Je voudrais savoir à quel point chaque donnée est proche de la valeur de référence.nnn J'ai pensé à utiliser la distance euclidienne pondérée comme ceci: réx , b= ( …

16 distance-functions

1

Comment calculer les bandes de prédiction pour la régression non linéaire?

La page d'aide de Prism donne l'explication suivante sur la façon dont il calcule les bandes de prédiction pour la régression non linéaire. Veuillez excuser la longue citation, mais je ne suis pas le deuxième paragraphe (qui explique comment est défini et est calculé). Toute aide serait grandement appréciée.G|xg|XG|xdY/dPréOui/réPdY/dP Le …

16 nonlinear-regression prediction-interval

4

Interprétation de exp (B) dans la régression logistique multinomiale

C'est en quelque sorte une question de débutant, mais comment interpréter un résultat exp (B) de 6.012 dans un modèle de régression logistique multinomial? 1) est-ce 6,012-1,0 = 5,012 = 5012% d'augmentation du risque? ou 2) 6,012 / (1 + 6,012) = 0,857 = 85,7% d'augmentation du risque? Dans le …

16 multinomial

3

Comment afficher graphiquement l'erreur, la puissance et la taille de l'échantillon de type II (bêta)?

On me demande d'écrire une introduction aux statistiques et je n'arrive pas à montrer graphiquement la relation entre la valeur p et la puissance. Je suis venu avec ce graphique: Ma question: existe-t-il une meilleure façon d'afficher cela? Voici mon code R x <- seq(-4, 4, length=1000) hx <- dnorm(x, …

16 r teaching power