Statistiques et Big Data

2

Est-il faux que les splines ne soient disponibles que dans les modèles GAM et non dans les modèles GLM? J'ai entendu cela il y a un certain temps, et je me demande si ce n'est qu'une idée fausse ou s'il y a du vrai. En voici une illustration:

12 generalized-linear-model splines

1

Pourquoi le paramétrage moyen redondant accélère-t-il Gibbs MCMC?

Dans le livre de Gelman & Hill (2007) (Analyse des données à l'aide de la régression et des modèles multiniveaux / hiérarchiques), les auteurs affirment que l'inclusion de paramètres moyens redondants peut aider à accélérer MCMC. L'exemple donné est un modèle non imbriqué de "simulateur de vol" (Eq 13.9): yjeγjδk∼ …

12 mcmc hierarchical-bayesian gibbs

2

Les compétitions Kaggle sont-elles gagnées par hasard?

Les compétitions de Kaggle déterminent les classements finaux sur la base d'un ensemble de tests en suspens. Un ensemble de test retenu est un échantillon; il peut ne pas être représentatif de la population modélisée. Étant donné que chaque soumission est comme une hypothèse, l'algorithme qui a remporté le concours …

12 machine-learning probability hypothesis-testing sample kaggle

2

Est-ce mal de choisir des fonctionnalités basées sur la valeur de p?

Il existe plusieurs articles sur la façon de sélectionner des fonctionnalités. L'une des méthodes décrit l'importance des fonctionnalités sur la base des statistiques t. Dans R varImp(model)appliqué sur un modèle linéaire avec des caractéristiques normalisées , la valeur absolue de la statistique t pour chaque paramètre du modèle est utilisée. …

12 regression p-value feature-selection

2

Comment utiliser un filtre Kalman?

J'ai une trajectoire d'un objet dans un espace 2D (une surface). La trajectoire est donnée comme une séquence de (x,y)coordonnées. Je sais que mes mesures sont bruyantes et j'ai parfois des valeurs aberrantes évidentes. Donc, je veux filtrer mes observations. Pour autant que je comprenne le filtre Kalman, il fait …

12 python kalman-filter smoothing

5

Pourquoi la somme de la précision et du rappel n'est-elle pas une mesure valable?

Quelle est la meilleure façon d'expliquer pourquoi n'est pas une bonne mesure, par exemple, par rapport à F1?Précision + RappelPrecision+Recall\text{Precision} + \text{Recall}

12 precision-recall

2

L'intrigue QQ semble normale, mais le test de Shapiro-Wilk dit le contraire

Dans R, j'ai un échantillon de 348 mesures et je veux savoir si je peux supposer qu'il est normalement distribué pour de futurs tests. Essentiellement après une autre réponse Stack , je regarde le tracé de densité et le tracé QQ avec: plot(density(Clinical$cancer_age)) qqnorm(Clinical$cancer_age);qqline(Clinical$cancer_age, col = 2) Je n'ai pas …

12 r normal-distribution

3

Pourquoi utilisons-nous PCA pour accélérer les algorithmes d'apprentissage alors que nous pourrions simplement réduire le nombre de fonctionnalités?

Dans un cours de machine learning, j'ai appris qu'une utilisation courante de PCA ( Principal Component Analysis ) est d'accélérer d'autres algorithmes de machine learning. Par exemple, imaginez que vous entraînez un modèle de régression logistique. Si vous avez un ensemble d'apprentissage pour i de 1 à n et qu'il …

12 machine-learning pca

2

La descente en gradient ne trouve pas de solution aux moindres carrés ordinaires sur cet ensemble de données?

J'ai étudié la régression linéaire et je l'ai essayée sur l'ensemble ci-dessous {(x, y)}, où x spécifiait la superficie de la maison en pieds carrés et y spécifiait le prix en dollars. Ceci est le premier exemple dans Andrew Ng Notes . 2104,400 1600,330 2400,369 1416,232 3000,540 J'ai développé un …

12 regression least-squares gradient-descent supervised-learning

2

Pourquoi l'expérience de relecture nécessite un algorithme hors stratégie?

Dans le document présentant DQN " Jouer à Atari avec l'apprentissage par renforcement profond ", il mentionnait: Notez que lors de l'apprentissage par rejeu d'expérience, il est nécessaire d'apprendre hors politique (car nos paramètres actuels sont différents de ceux utilisés pour générer l'échantillon), ce qui motive le choix du Q-learning. …

12 reinforcement-learning

2

Comment résoudre la moindre déviation absolue par la méthode simplex?

Voici le problème d'écart le moins absolu sous concerné:. Je sais qu'il peut être réorganisé comme problème LP de la manière suivante:argminwL(w)=∑ni=1|yi−wTx|arg⁡minwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min∑ni=1uimin∑i=1nui\min \sum_{i=1}^{n}u_{i} ui≥xTw−yii=1,…,nui≥xTw−yii=1,…,nu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n ui≥−(xTw−yi)i=1,…,nui≥−(xTw−yi)i=1,…,nu_i \geq -\left(\textbf{x}^T\textbf{w}-y_{i}\right) \; i = 1,\ldots,n Mais je n'ai aucune idée de le résoudre étape …

12 regression optimization quantile-regression linear-programming least-absolute-deviations

2

Que sont les régularités et la régularisation?

J'entends ces mots de plus en plus alors que j'étudie l'apprentissage automatique. En fait, certaines personnes ont remporté la médaille Fields en travaillant sur les régularités des équations. Donc, je suppose que c'est un terme qui va de la physique statistique / mathématique à l'apprentissage automatique. Naturellement, un certain nombre …

12 machine-learning self-study terminology regularization definition

2

«Moindres carrés» et «Régression linéaire», sont-ils synonymes?

Quelle est la différence entre les moindres carrés et la régression linéaire? Est-ce la même chose?

12 regression least-squares terminology

4

Comment calculer les intervalles de confiance pour les ratios?

Considérons une expérience qui produit un rapport compris entre 0 et 1. La manière dont ce rapport est obtenu ne devrait pas être pertinente dans ce contexte. Il a été élaboré dans une version précédente de cette question , mais supprimé pour plus de clarté après une discussion sur la …

12 confidence-interval

2

Fiabilité du mode à partir d'un échantillon MCMC

Dans son livre Doing Bayesian Data Analysis, John Kruschke déclare qu'en utilisant JAGS de R ... l'estimation du mode à partir d'un échantillon MCMC peut être plutôt instable car l'estimation est basée sur un algorithme de lissage qui peut être sensible aux bosses et ondulations aléatoires dans l'échantillon MCMC. ( …

12 bayesian mcmc mode