Statistiques et Big Data

Q & A pour les personnes intéressées par les statistiques, l'apprentissage automatique, l'analyse de données, l'exploration de données et la visualisation de données

Autocorrélation résiduelle versus variable dépendante décalée

Lors de la modélisation de séries chronologiques, on a la possibilité de (1) modéliser la structure corrélationnelle des termes d'erreur comme par exemple un processus AR (1) (2) inclure la variable dépendante retardée comme variable explicative (sur le côté droit) Je comprends que ce sont parfois des raisons substantielles d'aller …

13 time-series autocorrelation residuals lags

Capturer la saisonnalité en régression multiple pour les données quotidiennes

J'ai des données de vente quotidiennes pour un produit très saisonnier. Je veux saisir la saisonnalité dans le modèle de régression. J'ai lu que si vous avez des données trimestrielles ou mensuelles, dans ce cas, vous pouvez créer respectivement 3 et 11 variables muettes - mais puis-je gérer les données …

13 regression time-series multiple-regression categorical-data

Calcul de

J'ai lu sur le calcul des valeurs dans des modèles mixtes et après avoir lu la FAQ R-sig, d'autres articles sur ce forum (j'en lierais quelques-uns mais je n'ai pas assez de réputation) et plusieurs autres références je comprends que l'utilisation valeurs de dans le contexte des modèles mixtes sont …

13 r mixed-model r-squared lme4-nlme

Comment tracer une courbe ROC pour les arbres de décision?

Normalement, nous ne pouvons pas tracer une courbe ROC pour les classificateurs discrets comme les arbres de décision. Ai-je raison? Existe-t-il un moyen de tracer une courbe ROC pour Dtrees?

13 roc cart

Intégrer un CDF empirique

J'ai une distribution empirique . Je le calcule comme suitG(x)G(x)G(x) x <- seq(0, 1000, 0.1) g <- ecdf(var1) G <- g(x) Je note , c'est-à-dire que h est le pdf tandis que G est le cdf.h(x)=dG/dxh(x)=dG/dxh(x) = dG/dxhhhGGG Je veux maintenant résoudre une équation pour la limite supérieure d'intégration (disons, …

13 r integral ecdf

Comprendre le test du chi carré et la distribution du chi carré

J'essaie de comprendre la logique derrière le test du chi carré. Le test du carré est . est ensuite comparé à une distribution Chi-carré pour trouver une valeur p afin de rejeter ou non l'hypothèse nulle. : les observations proviennent de la distribution que nous avons utilisée pour créer nos …

13 probability distributions normal-distribution mathematical-statistics chi-squared

Estimation en ligne des quartiles sans enregistrer les observations

J'ai besoin de calculer les quartiles (Q1, médiane et Q3) en temps réel sur un grand ensemble de données sans stocker les observations. J'ai d'abord essayé l'algorithme P carré (Jain / Chlamtac) mais je n'en étais pas satisfait (un peu trop d'utilisation du processeur et pas convaincu par la précision …

13 quantiles median online

Comment interpréter l'autocorrélation

J'ai calculé l'autocorrélation sur des données de séries chronologiques sur les modèles de mouvement d'un poisson en fonction de ses positions: X ( x.ts) et Y ( y.ts). En utilisant R, j'ai exécuté les fonctions suivantes et produit les graphiques suivants: acf(x.ts,100) acf(y.ts,100) Ma question est, comment puis-je interpréter ces …

13 r time-series autocorrelation

Un modèle de régression dont la variable de réponse est le jour de l'année où un événement annuel se produit (généralement)

Dans ce cas particulier, je fais référence au jour où un lac gèle. Cette date "glacée" n'a lieu qu'une fois par an, mais parfois elle ne se produit pas du tout (si l'hiver est chaud). Ainsi, sur une année, le lac peut geler le jour 20 (20 janvier) et une …

13 regression time-series survival data-transformation recurrent-events

Vous observez k têtes sur n lancers. La pièce est-elle juste?

On m'a posé cette question avec dans une interview. Y a-t-il une réponse «correcte»?( n , k ) = ( 400 , 220 )(n,k)=(400,220)(n, k) = (400, 220) Supposons que les lancers soient iid et que la probabilité des têtes soit . La distribution du nombre de têtes en 400 …

13 probability hypothesis-testing self-study prior

Que faites-vous quand il n'y a pas de point de coude pour le regroupement de kmeans

J'ai appris que lors du choix d'un certain nombre de clusters, vous devez rechercher un point de coude pour différentes valeurs de K. J'ai tracé les valeurs de withinss pour des valeurs de k de 1 à 10, mais je ne vois pas de claire coude. Que faites-vous dans un …

13 clustering k-means

Utilisation de BIC pour estimer le nombre de k dans KMEANS

J'essaie actuellement de calculer le BIC pour mon jeu de données de jouets (ofc iris (:). Je veux reproduire les résultats comme indiqué ici (Fig. 5). Ce papier est également ma source pour les formules BIC. J'ai 2 problèmes avec ceci: Notation: njenin_i = nombre d'éléments dans le clusterjeii CjeCiC_i …

13 python k-means scikit-learn bic

Recherche d'une compréhension théorique de la régression logistique Firth

J'essaie de comprendre la régression logistique de Firth (méthode de gestion de la séparation parfaite / complète ou quasi-complète dans la régression logistique) afin de pouvoir l'expliquer aux autres en termes simplifiés. Quelqu'un a-t-il une explication factice de la modification que l'estimation de Firth apporte au MLE? J'ai lu, du …

13 logistic maximum-likelihood separation

Utilisation d'informations mutuelles pour estimer la corrélation entre une variable continue et une variable catégorielle

Quant au titre, l'idée est d'utiliser des informations mutuelles, ici et après MI, pour estimer la "corrélation" (définie comme "tout ce que je sais sur A quand je connais B") entre une variable continue et une variable catégorielle. Je vais vous dire mes réflexions sur la question dans un instant, …

13 correlation information-theory mutual-information

Expliquer les étapes de l'algorithme LLE (local linear embedding)?

Je comprends le principe de base derrière l'algorithme pour LLE se compose de trois étapes. Trouver le voisinage de chaque point de données par une métrique telle que k-nn. Trouvez des poids pour chaque voisin qui dénotent l'effet du voisin sur le point de données. Construire l'incorporation de faible dimension …

13 machine-learning model-selection feature-selection dimensionality-reduction nonlinear

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.

Licensed under cc by-sa 3.0 with attribution required.