Statistiques et Big Data

1

Trouver des règles appropriées pour de nouvelles données à l'aide d'arules

J'utilise R (et le package d'arules) pour extraire des transactions pour les règles d'association. Ce que je veux faire, c'est construire les règles, puis les appliquer à de nouvelles données. Par exemple, disons que j'ai de nombreuses règles, dont l'une est canonique {Beer=YES} -> {Diapers=YES}. Ensuite, j'ai de nouvelles données …

11 r data-mining association-rules

1

Extension des modèles à 2 classes aux problèmes multi-classes

Cet article sur Adaboost donne quelques suggestions et code (page 17) pour étendre les modèles à 2 classes aux problèmes de classe K. Je voudrais généraliser ce code, de sorte que je puisse facilement brancher différents modèles à 2 classes et comparer les résultats. Étant donné que la plupart des …

11 r machine-learning classification statistical-learning multi-class

3

Dois-je utiliser un cdf binomial ou un cdf normal lors du retournement de pièces?

Une pièce doit être testée pour l'équité. 30 têtes arrivent après 50 flips. En supposant que la pièce soit juste, quelle est la probabilité que vous obteniez au moins 30 têtes en 50 flips? Selon mon professeur, la bonne façon de résoudre ce problème est de faire normalcdf(min = .6, …

11 self-study normal-distribution binomial

6

Modèles de Markov cachés avec algorithme Baum-Welch utilisant python

Je cherche une implémentation de python (en python pur ou en encapsulant des trucs existants) de HMM et Baum-Welch. Quelques idées? Je viens de chercher dans google et j'ai trouvé du matériel vraiment médiocre par rapport aux autres techniques d'apprentissage automatique. Pourquoi?

11 python hidden-markov-model

1

Tracer des événements sur une chronologie dans R

Existe-t-il une bibliothèque de tracés pour R qui pourrait transformer une trame de données des heures de début et de fin en un tracé chronologique quelque chose comme ceci: L'axe Y signifie uniquement qu'il se cumule avec la concurrence, mais ne représente pas toujours la concurrence (voir l'écart au milieu). …

11 r data-visualization

2

Régression basée par exemple sur les jours de la semaine

J'ai besoin d'un peu d'aide pour aller dans la bonne direction. Cela fait longtemps que je n'ai étudié aucune statistique et le jargon semble avoir changé. Imaginez que j'ai un ensemble de données liées à la voiture telles que Temps de trajet de la ville A à la ville B …

11 regression categorical-data categorical-encoding

1

Une énigme de coiffeur

Ma coiffeuse Stacey a toujours un visage heureux, mais elle est souvent stressée par la gestion de son temps. Aujourd'hui, Stacey était en retard pour ma nomination et très excusée. Tout en obtenant ma coupe de cheveux, je me suis demandé: combien de temps ses rendez-vous standard devraient-ils être? (si …

11 normal-distribution optimization queueing decision-theory

4

Comment analyser au mieux les données sur la durée du séjour dans un ECR en milieu hospitalier?

Je souhaite savoir s'il existe ou non un consensus sur la meilleure façon d'analyser les données sur la durée de séjour à l'hôpital à partir d'un ECR. Il s'agit généralement d'une distribution très asymétrique, où la plupart des patients sortent en quelques jours à une semaine, mais les autres patients …

11 t-test power skewness cox-model logrank

3

Combien des plus grands termes deajouter jusqu'à la moitié du total?

Considérez ∑Ni=1|Xi|∑i=1N|Xi|\sum_{i=1}^N |X_i| où X1,…,XNX1,…,XNX_1, \ldots, X_N sont iid et le CLT est valide . Combien des termes les plus importants représentent jusqu'à la moitié de la somme totale? Par exemple, 10 + 9 + 8 ≈≈\approx (10 + 9 + 8 ……\dots + 1) / 2: 30% des termes …

11 central-limit-theorem asymptotics

1

Incrémental IDF (Inverse Document Frequency)

Dans une application d'exploration de texte, une approche simple consiste à utiliser l' heuristique pour créer des vecteurs sous forme de représentations compactes et clairsemées des documents. C'est très bien pour le réglage par lots, où l'ensemble du corpus est connu a priori, car l' i d f nécessite l'ensemble …

11 time-series text-mining

1

Comprendre la preuve d'un lemme utilisé dans l'inégalité de Hoeffding

J'étudie les notes de cours de Larry Wasserman sur les statistiques qui utilisent Casella et Berger comme texte principal. Je travaille sur ses notes de cours ensemble 2 et je suis resté coincé dans la dérivation du lemme utilisé dans l'inégalité de Hoeffding (pp.2-3). Je reproduis la preuve dans les …

11 probability probability-inequalities

3

Modèle de classification pour la prévision de la cote des films

Je suis un peu nouveau dans l'exploration de données et je travaille sur un modèle de classification pour la prévision de la cote des films. J'ai collecté des ensembles de données de l'IMDB et je prévois d'utiliser des arbres de décision et des approches de voisin le plus proche pour …

11 classification cart

2

Extensions possibles des tracés de diagnostic par défaut pour lm (en R et en général)?

J'ai commencé à creuser un peu dans la fonction plot.lm , cette fonction donne six tracés pour lm, ce sont: un tracé des résidus par rapport aux valeurs ajustées un graphique Scale-Location de sqrt (| résidus |) par rapport aux valeurs ajustées un tracé QQ normal, un tracé des distances …

11 r regression linear-model diagnostic

1

Moyenne et variance d'une distribution de Poisson gonflée à zéro

Quelqu'un peut-il montrer comment la valeur et la variance attendues du Poisson gonflé zéro, avec la fonction de masse de probabilité f(y)={π+(1−π)e−λ,(1−π)λye−λy!,if y=0if y=1,2....f(y)={π+(1−π)e−λ,if y=0(1−π)λye−λy!,if y=1,2.... f(y) = \begin{cases} \pi+(1-\pi)e^{-\lambda}, & \text{if }y=0 \\ (1-\pi)\frac{\lambda^{y}e^{-\lambda}}{y!}, & \text{if }y=1,2.... \end{cases} où est la probabilité que l'observation soit nulle par un processus …

11 variance poisson-distribution expected-value zero-inflation

1

Que lire de la fonction d'autocorrélation d'une série chronologique?

Étant donné une série chronologique, on peut estimer la fonction d'autocorrélation et la représenter, par exemple, comme indiqué ci-dessous: Que peut-on alors lire sur la série temporelle, à partir de cette fonction d'autocorrélation? Est-il par exemple possible de raisonner sur la stationnarité des séries temporelles? Modifié : Ici, j'ai inclus …

11 time-series autocorrelation