Statistiques et Big Data

1

Quelle est la signification des vecteurs propres d'une matrice d'information mutuelle?

En regardant les vecteurs propres de la matrice de covariance, nous obtenons les directions de variance maximale (le premier vecteur propre est la direction dans laquelle les données varient le plus, etc.); c'est ce qu'on appelle l'analyse en composantes principales (ACP). Je me demandais ce que cela signifierait de regarder …

14 pca entropy mutual-information eigenvalues

1

La différence entre l'effet de traitement moyen et marginal

J'ai lu quelques articles et je ne suis pas clair sur les définitions spécifiques de l'effet de traitement moyen (ETA) et de l'effet de traitement marginal (ETM). Sont-ils les mêmes? Selon Austin ... Un effet conditionnel est l'effet moyen, au niveau du sujet, de déplacer un sujet du non traité …

14 causality hazard propensity-scores marginal-effect marginal-model

3

Réseaux de neurones profonds - Juste pour la classification des images?

Tous les exemples que j'ai trouvés en utilisant des réseaux de neurones de croyance profonde ou convolutionnels les utilisent pour la classification d'images, la détection de chatacter ou la reconnaissance vocale. Les réseaux de neurones profonds sont-ils également utiles pour les tâches de régression classiques, où les caractéristiques ne sont …

14 regression machine-learning neural-networks deep-learning

3

Comment augmenter les données et valider le train?

Je fais la classification d'images en utilisant l'apprentissage automatique. Supposons que j'ai des données d'entraînement (images) et que je vais diviser les données en ensembles d'apprentissage et de validation. Et je veux aussi augmenter les données (produire de nouvelles images à partir des images originales) par des rotations aléatoires et …

14 machine-learning classification cross-validation dataset data-augmentation

4

Manuels / lectures sur quoi faire lorsque vous ne pouvez pas créer une expérience idéale?

Ma formation statistique est ancrée dans les statistiques mathématiques, et prendre ces classes de méthodes dans ma SEP est un peu un choc pour le moment; il m'est actuellement difficile de comprendre certaines de ces méthodes "appliquées" car je manque d'expérience dans l'industrie. L'un des sujets dont nous avons parlé …

14 references experiment-design

1

Comprendre la régression du processus gaussien via une vue de fonction de base de dimension infinie

On dit souvent que la régression du processus gaussien correspond (GPR) à la régression linéaire bayésienne avec une quantité (éventuellement) infinie de fonctions de base. J'essaie actuellement de comprendre cela en détail pour avoir une intuition sur le type de modèles que je peux exprimer en utilisant GPR. Pensez-vous que …

14 gaussian-process kernel-trick basis-function

3

Quels algorithmes rapides existent pour calculer la SVD tronquée?

Peut-être hors sujet ici, mais il existe déjà plusieurs ( une , deux ) questions liées. En fouillant dans la littérature (ou une recherche google pour les algorithmes SVD tronqués), on trouve beaucoup d'articles qui utilisent les SVD tronqués de diverses manières et prétendent (frustrant, souvent sans citation) qu'il existe …

14 algorithms svd numerics

5

Chemin vers les statistiques mathématiques sans fond d'analyse: manuel idéal pour l'auto-apprentissage

Je suis assez incliné mathématiquement - j'ai eu 6 semestres de mathématiques au premier cycle - bien que je sois un peu hors de pratique et lent avec, disons, des équations différentielles partielles et des intégrales de chemin, mes concepts reviennent avec un peu de pratique. Je n'ai pas suivi …

14 mathematical-statistics references

2

Transformation des données: toutes les variables ou seulement celles qui ne sont pas normales?

Dans Andy Field's Discovering Statistics Using SPSS, il déclare que toutes les variables doivent être transformées. Cependant, dans la publication: "Examen des relations variant dans l'espace entre l'utilisation des terres et la qualité de l'eau à l'aide de la régression pondérée géographiquement I: conception et évaluation du modèle", ils indiquent …

14 normal-distribution data-transformation

2

Échantillonnage à partir de la distribution de von Mises-Fisher en Python?

Je recherche un moyen simple d'échantillonner à partir d'une distribution multivariée de von Mises-Fisher en Python. J'ai regardé dans le module stats dans scipy et le module numpy mais j'ai seulement trouvé la distribution univariée de von Mises. Y a-t-il un code disponible? Je n'ai pas encore trouvé. Apparemment, Wood …

14 distributions sampling python

3

Comment puis-je détecter par programmation des segments d'une série de données pour les adapter à différentes courbes?

Existe-t-il des algorithmes documentés pour séparer les sections d'un ensemble de données donné en différentes courbes de meilleur ajustement? Par exemple, la plupart des humains qui regardent ce tableau de données le diviseraient facilement en 3 parties: un segment sinusoïdal, un segment linéaire et le segment exponentiel inverse. En fait, …

14 fitting curve-fitting segmentation

3

Hypothèses pour dériver l'estimateur OLS

Quelqu'un peut-il m'expliquer brièvement pourquoi chacune des six hypothèses est nécessaire pour calculer l'estimateur OLS? Je n'ai découvert que la multicolinéarité - si elle existe, nous ne pouvons pas inverser la matrice (X'X) et à son tour estimer l'estimateur global. Qu'en est-il des autres (par exemple, linéarité, erreurs moyennes nulles, …

14 least-squares assumptions

3

perte de charnière vs perte de logistique avantages et inconvénients / limitations

La perte de charnière peut être définie à l'aide de et la perte de journal peut être définie commemax ( 0 , 1 - yjewTXje)max(0,1-yjewTXje)\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)journal ( 1 + exp( - yjewTXje) )Journal(1+exp⁡(-yjewTXje))\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i)) J'ai les questions suivantes: Y a-t-il des inconvénients à la perte de charnière (par exemple, …

14 machine-learning svm loss-functions computer-vision

4

Intervalles de confiance lorsque la taille de l'échantillon est très grande

Ma question pourrait être reformulée comme "comment évaluer une erreur d'échantillonnage en utilisant les mégadonnées", en particulier pour une publication de journal. Voici un exemple pour illustrer un défi. À partir d'un très grand ensemble de données (> 100 000 patients uniques et leurs médicaments prescrits provenant de 100 hôpitaux), …

14 confidence-interval large-data reporting

1

Pourquoi les modèles à effets mixtes résolvent-ils la dépendance?

Imaginons que nous nous intéressions à la façon dont les notes des étudiants sont affectées par le nombre d'heures que ces étudiants étudient. Pour explorer cette relation, nous pourrions exécuter la régression linéaire suivante: exam.gradesi=a+β1×hours.studiedi+eiexam.gradesi=a+β1×hours.studiedi+ei \text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i Mais si nous échantillonnons des élèves …

14 regression mixed-model random-effects-model non-independent