Statistiques et Big Data

2

L'information mutuelle comme probabilité

Pourrait l'information mutuelle sur l'entropie conjointe: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 être défini comme: "La probabilité de transmettre une information de X à Y"? Je suis désolé d'être si naïf, mais je n'ai jamais étudié la théorie de l'information, et j'essaie juste de comprendre certains concepts de cela.

11 information-theory mutual-information

1

Pointe et dalle bayésienne versus méthodes pénalisées

Je lis les diapositives de Steven Scott sur le package BSTS R (vous pouvez les trouver ici: diapositives ). À un moment donné, lorsqu'il parle d'inclure de nombreux régresseurs dans le modèle de série chronologique structurelle, il présente les a priori de pointe et de dalle des coefficients de régression …

11 r bayesian feature-selection penalized bsts

5

Montrant que l'estimateur OLS est équivariant à l'échelle?

Je n'ai pas de définition formelle de l'équivariance d'échelle, mais voici ce que l' introduction à l'apprentissage statistique dit à ce sujet à la p. 217: Les coefficients standard des moindres carrés ... sont équivariants à l'échelle : la multiplication de par une constante conduit simplement à une mise à …

11 least-squares linear-model

1

Poids aléatoire de la forêt et de la classe

Question en une phrase: quelqu'un sait-il comment déterminer les bons poids de classe pour une forêt aléatoire? Explication: je joue avec des jeux de données déséquilibrés. Je veux utiliser le Rpackage randomForestpour former un modèle sur un ensemble de données très asymétrique avec seulement de petits exemples positifs et de …

11 r random-forest

1

Que faites-vous si vos degrés de liberté dépassent la fin de vos tables?

Les degrés de liberté dans ma table F ne montent pas assez haut pour mon gros échantillon. Par exemple, si j'ai un F avec 5 et 6744 degrés de liberté, comment puis-je trouver la valeur critique de 5% pour une ANOVA? Et si je faisais un test du chi carré …

11 chi-squared degrees-of-freedom f-distribution tables

1

Pourquoi Netflix passerait-il de son système de notation à cinq étoiles à un système de j'aime / n'aime pas?

Netflix avait l'habitude de baser ses suggestions sur les évaluations soumises par un utilisateur d'autres films / émissions. Ce système de notation avait cinq étoiles. Désormais, Netflix permet aux utilisateurs d'aimer / détester (pouce levé / pouce baissé) les films / émissions. Ils affirment qu'il est plus facile d'évaluer les …

11 variance predictive-models prediction

2

La moyenne géométrique est un estimateur non biaisé de la moyenne de quelle distribution continue?

Existe-t-il une distribution continue exprimable sous forme fermée, dont la moyenne est telle que la moyenne géométrique des échantillons est un estimateur non biaisé de cette moyenne? Mise à jour: Je viens de réaliser que mes échantillons doivent être positifs (ou bien la moyenne géométrique peut ne pas exister) donc …

11 distributions geometric-mean

2

Dois-je signaler des résultats non significatifs?

J'ai exécuté un test de Kruskal Wallis, et pour certaines des questions, la valeur p n'est pas significative. Dois-je le signaler de la même manière que s'il était significatif, en indiquant le df, la statistique de test et la valeur de p? Donc, ce serait quelque chose comme ça, un …

11 spss kruskal-wallis reporting

1

Comment interpréter les résultats lorsque la crête et le lasso fonctionnent bien séparément mais produisent des coefficients différents

J'utilise un modèle de régression avec Lasso et Ridge (pour prédire une variable de résultat discrète allant de 0 à 5). Avant d'exécuter le modèle, j'utilise la SelectKBestméthode de scikit-learnpour réduire l'ensemble de fonctionnalités de 250 à 25 . Sans sélection initiale des caractéristiques, Lasso et Ridge cèdent tous deux …

11 regression predictive-models feature-selection lasso ridge-regression

2

Lire des parcelles en boîte et moustaches: est-il possible de glaner des différences significatives entre les groupes?

Supposons que nous examinions ce complot en boîte et moustaches: Entre jeudi et vendredi, je pense que la plupart conviendraient qu'il semble y avoir une différence significative dans le temps passé à dormir. Est-ce une conjecture statistiquement valable, cependant? Pouvons-nous discerner des différences significatives du fait qu'aucune des fourchettes du …

11 anova data-visualization boxplot

1

Inférence variationnelle en anglais simple

Après avoir regardé des vidéos sur YouTube, j'ai l'impression que je ne peux pas vraiment définir ce qu'est l'inférence variationnelle. Je peux suivre les procédures pendant que je regarde les conférences vidéo à ce sujet. Mais difficile de définir ce qui est vraiment. J'espère en entendre parler.

11 machine-learning mathematical-statistics data-mining

6

Références de base sur MCMC pour les statistiques bayésiennes

Je recherche des articles ou des livres avec des exemples pratiques et théoriques sur MCMC de base pour les statistiques bayésiennes (avec R). Je n'ai jamais étudié la simulation et c'est pourquoi je recherche des informations "basiques". Pouvez-vous me donner quelques recommandations ou conseils?

11 bayesian references mcmc

1

Limites de généralisation sur SVM

Je m'intéresse aux résultats théoriques pour la capacité de généralisation des machines à vecteurs de support, par exemple les limites sur la probabilité d'erreur de classification et sur la dimension Vapnik-Chervonenkis (VC) de ces machines. Cependant, en lisant la littérature, j'ai eu l'impression que certains résultats récurrents similaires ont tendance …

11 machine-learning svm vc-dimension

2

Apprentissage supervisé avec des données incertaines?

Existe-t-il une méthodologie existante pour appliquer un modèle d'apprentissage supervisé à un ensemble de données incertain? Par exemple, supposons que nous ayons un ensemble de données avec les classes A et B: +----------+----------+-------+-----------+ | FeatureA | FeatureB | Label | Certainty | +----------+----------+-------+-----------+ | 2 | 3 | A | …

11 machine-learning supervised-learning

2

Si vous ne pouvez pas le faire orthogonalement, faites-le brut (régression polynomiale)

Lors de la régression polynomiale de YOuiY sur XXX , les gens utilisent parfois des polynômes bruts, parfois des polynômes orthogonaux. Mais quand ils utilisent ce qui semble complètement arbitraire. Ici et ici, des polynômes bruts sont utilisés. Mais ici et ici , les polynômes orthogonaux semblent donner les bons …

11 regression polynomial