Statistiques et Big Data

2

Intégration de variables explicatives plus détaillées dans le temps

J'essaie de comprendre comment je pourrais mieux modéliser une variable où, au fil du temps, j'ai obtenu des prédicteurs de plus en plus détaillés. Par exemple, envisagez de modéliser les taux de recouvrement des prêts en défaut. Supposons que nous ayons un ensemble de données avec 20 ans de données, …

9 regression missing-data

1

Dois-je signaler des intervalles crédibles plutôt que des intervalles de confiance?

Après être tombé sur le concept dans un manuel de statistiques, j'ai essayé d'en comprendre la tête, et je suis finalement arrivé à une conclusion qui semble correspondre à toutes les explications que j'ai vues jusqu'à présent: un intervalle crédible est ce que les non-statisticiens pensent qu'une confiance l'intervalle est. …

9 confidence-interval methodology credible-interval

2

Pourquoi les résultats de 0,05 <p <0,95 sont-ils appelés faux positifs?

Edit: La base de ma question est imparfaite, et je dois passer un peu de temps à déterminer si cela peut même avoir un sens. Edit 2: Précisant que je reconnais qu'une valeur de p n'est pas une mesure directe de la probabilité d'une hypothèse nulle, mais que je suppose …

9 hypothesis-testing p-value

1

Étrange façon de calculer le chi carré dans Excel vs R

Je regarde une feuille Excel qui prétend calculer le , mais je ne reconnais pas cette façon de faire, et je me demandais si je manquais quelque chose.χ2χ2\chi^2 Voici les données qu'il analyse: +------------------+----------+----------+ | Total Population | Observed | Expected | +------------------+----------+----------+ | 2000 | 42 | 32.5 | …

9 r chi-squared excel

3

Pourquoi la régression linéaire n'est-elle pas en mesure de prédire le résultat d'une simple séquence déterministe?

Un de mes collègues m'a envoyé ce problème apparemment en faisant le tour sur Internet: If $3 = 18, 4 = 32, 5 = 50, 6 = 72, 7 = 98$, Then, $10 =$ ? La réponse semble être 200. 3*6 4*8 5*10 6*12 7*14 8*16 9*18 10*20=200 Quand je …

9 r regression lm

1

Le rééchantillonnage bootstrap peut-il être utilisé pour calculer un intervalle de confiance pour la variance d'un ensemble de données?

Je sais que si vous rééchantillonnez à plusieurs reprises à partir d'un ensemble de données et calculez la moyenne à chaque fois, ces moyennes suivront une distribution normale (par le CLT). Ainsi, vous pouvez calculer un intervalle de confiance sur la moyenne de l'ensemble de données sans faire d'hypothèses sur …

9 distributions confidence-interval bootstrap resampling

1

Appliquer une régression de crête pour un système d'équations sous-déterminé?

Lorsque , le problème des moindres carrés qui impose une restriction sphérique à la valeur de peut être écrit comme pour un système surdéterminé. \ | \ cdot \ | _2 est la norme euclidienne d'un vecteur.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - …

9 regression least-squares regularization ridge-regression underdetermined

2

Comment tracer une interaction entre un facteur et une covariable continue?

Je voudrais tracer sur le même graphique l'interaction entre mon prédicteur continu et mon modérateur catégorique. Je sais comment le faire lorsque les deux sont catégoriques ( interaction factorielle ), mais je ne sais pas vraiment comment le faire lorsque l'un est continu et l'autre catégorique.

9 data-visualization categorical-data interaction continuous-data

1

Attente de la somme des nombres K sans remplacement

Étant donné nombres, où la valeur de chaque nombre est différente, notée , et la probabilité de sélectionner chaque nombre est , respectivement.nnnv1,v2,...,vnv1,v2,...,vnv_1, v_2, ..., v_np1,p2,...,pnp1,p2,...,pnp_1, p_2, ..., p_n Maintenant, si je sélectionne nombres basés sur les probabilités données, où , quelle est l'attente de la somme de ces nombres? …

9 probability

1

Configuration des données pour les différences dans les différences

Quelle configuration est correcte pour un modèle de régression de différence en utilisant Ouii s t= α + γs∗ T+ λ dt+ δ∗ ( T∗ dt) + ϵi s tOuijest=α+γs∗T+λrét+δ∗(T∗rét)+ϵjestY_{ist} = \alpha +\gamma_s*T + \lambda d_t + \delta*(T*d_t)+ \epsilon_{ist} où T est un mannequin qui est égal à 1 si …

9 regression econometrics difference-in-difference

2

La signification de représenter le simplexe comme une surface triangulaire dans la distribution de Dirichlet?

Je lis un livre qui présente la distribution Dirchilet, puis a présenté des chiffres à ce sujet. Mais je n'ai pas vraiment pu comprendre ces chiffres. J'ai attaché la figure ici en bas. Ce que je ne comprends pas, c'est la signification des triangles. Normalement, quand on veut tracer une …

9 distributions data-visualization dirichlet-distribution

4

Quels sont les cours de mathématiques pures importants pour un doctorant en statistique prospective?

Je sais que l'algèbre linéaire et l'analyse (en particulier la théorie des mesures) sont importantes. Est-il utile de suivre des cours de deuxième cycle en analyse réelle et complexe? Dois-je suivre des cours d'algèbre abstraite au-delà des cours d'introduction, par exemple l'algèbre commutative et la géométrie algébrique?

9 mathematical-statistics academia algebraic-statistics

1

Tester si deux échantillons de distributions binomiales sont conformes au même p

Supposons que j'ai fait: n1n1n_1 essais indépendants avec un taux de réussite inconnup1p1p_1etk1k1k_1 succèsobservés. n2n2n_2 essais indépendants avec un taux de réussite inconnup2p2p_2 et dessuccès observésk2k2k_2. Si, maintenant p1=p2=:pp1=p2=:pp_1 = p_2 =: p mais encore inconnu, la probabilité p(k2)p(k2)p(k_2) d'observer k2k2k_2 pour un donné k1k1k_1(ou vice versa) est proportionnelle à …

9 hypothesis-testing binomial references

1

seuil de classification dans RandomForest-sklearn

1) Comment puis-je changer le seuil de classification (je pense que c'est 0,5 par défaut) dans RandomForest dans sklearn? 2) Comment puis-je sous-échantillonner dans Sklearn? 3) J'ai le résultat suivant du classificateur RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64 2932 class 1 0.74 …

9 classification random-forest precision-recall unbalanced-classes

2

Couplage des informations de séries chronologiques à partir de sources avec plusieurs résolutions / échelles spatiales

J'ai de nombreuses images raster satellite disponibles à partir de différents capteurs. De ceux-ci, les plus grossiers ont une résolution temporelle très abondante. Les rasters à résolution moyenne ont tendance à avoir moins de dates d'acquisition, mais un certain degré d'informations est toujours disponible. Les plus fines résolutions ont une …

9 time-series machine-learning predictive-models multivariate-regression