Statistiques et Big Data

3

Question d'entrevue de Data Scientist: Régression linéaire faible et que feriez-vous

J'ai fait face à une question d'entrevue pour un emploi où l'intervieweur m'a demandé de supposer que votre est très faible (entre 5 et 10%) pour un modèle d'élasticité-prix. Comment résoudriez-vous cette question?R2R2R^2 Je ne pouvais penser à rien d'autre que le fait que je ferai des diagnostics de régression …

10 regression self-study theory

2

Différence entre Prieurs non informatifs et Prieurs irréguliers

Je me demande quelle est la différence entre ces deux types de prieurs: Non informatif Non conforme

10 bayesian prior improper-prior

1

Pourquoi je reçois des prédictions différentes pour l'expansion polynomiale manuelle et j'utilise la fonction R `poly`?

Pourquoi j'obtiens des prévisions différentes pour l'expansion polynomiale manuelle et l'utilisation de la polyfonction R ? set.seed(0) x <- rnorm(10) y <- runif(10) plot(x,y,ylim=c(-0.5,1.5)) grid() # xp is a grid variable for ploting xp <- seq(-3,3,by=0.01) x_exp <- data.frame(f1=x,f2=x^2) fit <- lm(y~.-1,data=x_exp) xp_exp <- data.frame(f1=xp,f2=xp^2) yp <- predict(fit,xp_exp) lines(xp,yp) # …

10 r regression polynomial

1

Explication intuitive de la probabilité inverse des poids de traitement (IPTW) dans la pondération du score de propension?

Je comprends la mécanique du calcul des poids en utilisant les scores de propension : , puis en appliquant les poids dans une analyse de régression, et que les poids servent à «contrôler» ou dissocier les effets des covariables dans les populations des groupes de traitement et de contrôle avec …

10 intuition weighted-regression propensity-scores

2

Échantillonnage efficace d'une distribution bêta seuil

Comment dois-je échantillonner efficacement la distribution suivante? x ∼ B ( α , β) , x > k x∼B(α,β), x>k x \sim B(\alpha, \beta),\space x > k Si n'est pas trop grand, l'échantillonnage de rejet peut être la meilleure approche, mais je ne sais pas comment procéder lorsque k est …

10 random-generation beta-distribution truncation

1

Pourquoi mes résultats de forêt aléatoires sont-ils si variables?

J'essaie de tester la capacité d'une forêt aléatoire à classer les échantillons entre 2 groupes; Il y a 54 échantillons et différents nombres de variables utilisés pour la classification. Je me demandais pourquoi les estimations hors du sac (OOB) peuvent varier jusqu'à 5% les unes des autres même lorsque j'utilise …

10 machine-learning random-forest

3

Que veulent dire les statisticiens quand ils disent que nous ne comprenons pas vraiment comment fonctionne le LASSO (régularisation)?

J'ai récemment assisté à quelques discussions sur les statistiques du Lasso (régularisation) et un point qui revient sans cesse est que nous ne comprenons pas vraiment pourquoi le Lasso fonctionne ou pourquoi il fonctionne si bien. Je me demande à quoi se réfère cette déclaration. Évidemment, je comprends pourquoi le …

10 machine-learning lasso regularization

1

Le processus gaussien (régression) a-t-il la propriété d'approximation universelle?

Une fonction continue sur [a, b], où a et b sont des nombres réels, peut-elle être approximée ou arbitrairement proche de la fonction (dans une certaine norme) par des processus gaussiens (régression)?

10 gaussian-process approximation

1

Régression forestière aléatoire pour la prédiction de séries chronologiques

J'essaie d'utiliser la régression RF pour faire des prédictions sur les performances d'une papeterie. J'ai des données minute par minute pour les intrants (taux et quantité de pâte de bois entrant dans etc ...) ainsi que pour les performances de la machine (papier produit, puissance tirée par la machine) et …

10 time-series forecasting cross-validation random-forest autoregressive

2

Comment Tensorflow `tf.train.Optimizer` calcule-t-il les gradients?

Je suis le tutoriel mnist Tensorflow ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). Le didacticiel utilise tf.train.Optimizer.minimize(spécifiquement tf.train.GradientDescentOptimizer). Je ne vois aucun argument transmis nulle part pour définir des gradients. Le flux tenseur utilise-t-il la différenciation numérique par défaut? Existe-t-il un moyen de passer des dégradés comme vous le pouvez avec scipy.optimize.minimize?

10 python optimization tensorflow

1

Quelle est la signification des barres doubles et 2 en bas dans les moindres carrés ordinaires?

J'ai vu cette notation pour les moindres carrés ordinaires ici . minw∥Xw−y∥22minw‖Xw−y‖22 \min_w \left\| Xw - y \right\|^2_2 Je n'ai jamais vu les doubles barres et les 2 en bas. Que signifient ces symboles? Ont-ils une terminologie spécifique pour eux?

10 regression least-squares linear-model linear-algebra notation

3

Comparaison de 0/10 à 0/20

En discutant des taux de réalisation des tâches, existe-t-il un moyen de montrer que 0 tentative sur 20 est "pire" que 0 tentative sur 10?

10 probability sampling

3

Comment choisir la meilleure métrique pour mesurer mon étalonnage?

Je programme et fais du développement piloté par les tests. Après avoir modifié mon code, je lance mes tests. Parfois, ils réussissent et parfois ils échouent. Avant d'exécuter un test, j'écris un nombre de 0,01 à 0,99 pour ma certitude que le test réussira. Je veux savoir si je m'améliore …

10 forecasting decision-theory calibration scoring-rules

1

Dans quelle situation le test de classement signé de Wilcoxon serait-il préférable au test t ou au test de signe?

Après une discussion (ci-dessous), j'ai maintenant une image plus claire d'une question ciblée, donc voici une question révisée, bien que certains des commentaires puissent maintenant sembler sans rapport avec la question d'origine. Il semble que les tests t convergent rapidement pour les distributions symétriques , que le test de rang …

10 hypothesis-testing t-test paired-data wilcoxon-signed-rank sign-test

2

Un réseau neuronal convolutif peut-il prendre comme images d'entrée de différentes tailles?

Je travaille sur un réseau de convolution pour la reconnaissance d'image, et je me demandais si je pouvais entrer des images de différentes tailles (pas très différentes cependant). Sur ce projet: https://github.com/harvardnlp/im2markup Ils disent: and group images of similar sizes to facilitate batching Ainsi, même après le prétraitement, les images …

10 neural-networks conv-neural-network computer-vision