Statistiques et Big Data

3

Y a-t-il un problème sérieux avec la suppression des observations avec des valeurs manquantes lors du calcul de la matrice de corrélation?

J'ai cet énorme ensemble de données avec comme 2500 variables et comme 142 observations. Je veux exécuter une corrélation entre la variable X et le reste des variables. Mais pour de nombreuses colonnes, il manque des entrées. J'ai essayé de le faire dans R en utilisant l'argument "pairwise-complete" ( use=pairwise.complete.obs) …

12 r correlation missing-data correlation-matrix

2

Qu'est-ce que la contrainte maxnorm? Quelle est son utilité dans les réseaux de neurones convolutifs?

Voici un exemple de code keras qui l'utilise: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks regularization conv-neural-network optimization

2

Keras: pourquoi la perte diminue-t-elle alors que val_loss augmente?

J'ai configuré une recherche de grille pour un tas de paramètres. J'essaie de trouver les meilleurs paramètres pour un réseau neuronal Keras qui effectue une classification binaire. La sortie est soit un 1 soit un 0. Il y a environ 200 fonctionnalités. Quand j'ai fait une recherche dans la grille, …

12 machine-learning cross-validation deep-learning tensorflow theano

1

Pourquoi lm et biglm dans R donnent-ils des valeurs de p différentes pour les mêmes données?

Voici un petit exemple: MyDf<-data.frame(x=c(1,2,3,4), y=c(1.2, .7, -.5, -3)) Maintenant avec le base::lm: > lm(y~x, data=MyDf) %>% summary Call: lm(formula = y ~ x, data = MyDf) Residuals: 1 2 3 4 -0.47 0.41 0.59 -0.53 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 3.0500 0.8738 3.491 0.0732 . x …

12 r regression p-value linear-model

2

Intuition mathématique de l'équation de biais-variance

J'ai récemment posé une question à la recherche d'une interprétation / intuition mathématique derrière l'équation élémentaire reliant la moyenne et la variance de l'échantillon: E[X2]=Var(X)+(E[X])2E[X2]=Var(X)+(E[X])2 E[X^2] = Var(X) +(E[X])^2 , géométrique ou autre. Mais maintenant, je suis curieux de savoir l'équation de compromis biais-variance superficiellement similaire. MSE(θ^)=E[(θ^−θ)2]==E[(θ^−E[θ^])2]+(E[θ^]−θ)2Var(θ^)+Bias(θ^,θ)2MSE(θ^)=E[(θ^−θ)2]=E[(θ^-E[θ^])2]+(E[θ^]-θ)2=Var(θ^)+Biais(θ^,θ)2 \begin{eqnarray} \text{MSE}(\hat{\theta}) = …

12 variance bias

4

Dans CNN, le suréchantillonnage et la transposition de convolution sont-ils les mêmes?

Les termes «suréchantillonnage» et «convolution transposée» sont tous deux utilisés lorsque vous effectuez une «déconvolution» (<- ce n'est pas un bon terme, mais permettez-moi de l'utiliser ici). À l'origine, je pensais qu'ils signifiaient la même chose, mais il me semble qu'ils sont différents après avoir lu ces articles. quelqu'un peut-il …

12 machine-learning neural-networks conv-neural-network transposed-convolution

2

Quelle est la différence entre la régression linéaire «régulière» et la régression linéaire d'apprentissage profond?

Je veux connaître la différence entre la régression linéaire dans une analyse d'apprentissage automatique régulière et la régression linéaire dans le cadre d'un "apprentissage profond". Quels algorithmes sont utilisés pour la régression linéaire dans le cadre de l'apprentissage en profondeur.

12 regression machine-learning deep-learning

1

Qu'est-ce qu'un bloc d'apprentissage résiduel dans le contexte des réseaux résiduels profonds dans l'apprentissage profond?

Je lisais le document Deep Residual Learning for Image Recognition et j'avais du mal à comprendre avec 100% de certitude ce qu'implique un bloc résiduel sur le plan informatique. En lisant leur article, ils ont la figure 2: qui illustre ce qu'est un bloc résiduel. Le calcul d'un bloc résiduel …

12 machine-learning neural-networks deep-learning conv-neural-network residual-networks

3

Comment implémenter un modèle mixte en utilisant la fonction betareg dans R?

J'ai un ensemble de données composé de proportions qui mesurent le "niveau d'activité" des têtards individuels, ce qui rend les valeurs liées entre 0 et 1. Ces données ont été collectées en comptant le nombre de fois où l'individu s'est déplacé dans un certain intervalle de temps (1 pour le …

12 r mixed-model random-effects-model beta-distribution beta-regression

1

Différence entre les implémentations scikit-learn de PCA et TruncatedSVD

Je comprends la relation entre l'analyse en composantes principales et la décomposition en valeurs singulières à un niveau algébrique / exact. Ma question concerne l' implémentation de scikit-learn . La documentation dit: " [TruncatedSVD] est très similaire à l'ACP, mais fonctionne directement sur des vecteurs d'échantillonnage, plutôt que sur une …

12 pca scikit-learn svd scipy

2

Intuition graphique des statistiques sur une variété

Sur ce poste , vous pouvez lire la déclaration: Les modèles sont généralement représentés par des points sur une variété de dimensions finies.θθ\theta Sur la géométrie différentielle et les statistiques par Michael K Murray et John W Rice, ces concepts sont expliqués en prose lisible, même en ignorant les expressions …

12 distributions manifold-learning information-geometry topologies

2

Distribution bêta lors du retournement d'une pièce

Le livre bayésien de Kruschke dit, concernant l'utilisation d'une distribution bêta pour lancer une pièce, Par exemple, si nous n'avons aucune connaissance préalable autre que la connaissance que la pièce a un côté tête et un côté queue, cela revient à avoir précédemment observé une tête et une queue, ce …

12 probability bayesian beta-distribution

2

optimisation auc vs logloss dans les problèmes de classification binaire

J'effectue une tâche de classification binaire où la probabilité de résultat est assez faible (environ 3%). J'essaie de décider s'il faut optimiser par AUC ou perte de journal. Autant que j'ai compris, l'AUC maximise la capacité du modèle à discriminer entre les classes tandis que la perte de log pénalise …

12 classification binary-data auc log-loss

2

Utiliser le coefficient de corrélation de Pearson comme objectif d'optimisation dans l'apprentissage automatique

Dans l'apprentissage automatique (pour les problèmes de régression), je vois souvent l'erreur quadratique moyenne (MSE) ou l'erreur absolue moyenne (MAE) utilisée comme fonction d'erreur pour minimiser (plus le terme de régularisation). Je me demande s'il existe des situations où l'utilisation d'un coefficient de corrélation serait plus appropriée? si une telle …

12 regression machine-learning svm optimization deep-learning

3

Quels sont des exemples concrets de «modèles statistiques non paramétriques»?

Je lis ici l'article de Wikipédia sur les modèles statistiques et je suis quelque peu perplexe quant à la signification des "modèles statistiques non paramétriques", en particulier: Un modèle statistique n'est pas paramétrique si l'ensemble de paramètres est de dimension infinie. Un modèle statistique est semi - paramétrique s'il a …

12 nonparametric model