Statistiques et Big Data

1

Comment les SVM = correspondance de modèles?

J'ai lu sur les SVM et j'ai appris qu'ils résolvaient un problème d'optimisation et l'idée de marge maximale était très raisonnable. Maintenant, en utilisant des noyaux, ils peuvent même trouver des limites de séparation non linéaires, ce qui était génial. Jusqu'à présent, je n'ai vraiment aucune idée de la façon …

10 machine-learning neural-networks svm deep-learning kernel-trick

1

K-signifie: combien d'itérations dans des situations pratiques?

Je n'ai pas d'expérience dans l'industrie de l'exploration de données ou des mégadonnées, donc j'aimerais vous entendre partager votre expérience. Les gens exécutent-ils réellement k-means, PAM, CLARA, etc. sur un très grand ensemble de données? Ou bien ils en choisissent simplement un échantillon au hasard? S'ils ne prennent qu'un échantillon …

10 clustering data-mining k-means convergence large-data

1

Pourquoi prévoir à partir d'un modèle à effets mixtes sans inclure d'effets aléatoires pour la prédiction?

C'est plus une question conceptuelle, mais comme je l'utilise, Rje ferai référence aux packages de R. Si l'objectif est d'adapter un modèle linéaire à des fins de prédiction, puis de faire des prédictions là où les effets aléatoires pourraient ne pas être disponibles, y a-t-il un avantage à utiliser un …

10 r multiple-regression mixed-model lme4-nlme

3

Pourquoi la dynamique hamiltonienne est meilleure que la proposition de marche aléatoire dans MCMC dans certains cas?

La dynamique hamiltonienne surpasse toujours la marche aléatoire dans l'algorithme de Metropolis dans certains cas. Quelqu'un pourrait-il expliquer la raison avec des mots simples sans trop de mathématiques?

10 mcmc

3

Fonction de perte pour la segmentation sémantique

S'excuse pour l'utilisation abusive des termes techniques. Je travaille sur un projet de segmentation sémantique via des réseaux de neurones convolutifs (CNN); essayer d'implémenter une architecture de type Encodeur-Décodeur, donc la sortie est de la même taille que l'entrée. Comment concevez-vous les étiquettes? Quelle fonction de perte doit-on appliquer? Surtout …

10 conv-neural-network image-processing segmentation

2

Index Rand ajusté vs informations mutuelles ajustées

J'essaie d'évaluer les performances de clustering. Je lisais la documentation skiscit-learn sur les métriques . Je ne comprends pas la différence entre ARI et AMI. Il me semble qu'ils font la même chose de deux manières différentes. Citant de la documentation: Compte tenu de la connaissance des affectations de classe …

10 clustering python scikit-learn

2

Aux modèles normal et binomial, la variance postérieure est-elle toujours inférieure à la variance précédente?

Ou quelles conditions le garantissent? En général (et pas seulement les modèles normaux et binomiaux), je suppose que la principale raison qui a brisé cette affirmation est qu'il y a incohérence entre le modèle d'échantillonnage et le précédent, mais quoi d'autre? Je commence par ce sujet, donc j'apprécie vraiment les …

10 bayesian variance information-theory

2

Théorème de limite centrale pour les chaînes de Markov

\newcommand{\E}{\mathbb{E}}\newcommand{\P}{\mathbb{P}} Le théorème de la limite centrale (CLT) indique que pour indépendants et répartis de manière identique (iid) avec et , la somme converge vers une distribution normale comme : X1,X2,…X1,X2,…X_1,X_2,\dotsE[Xi]=0E[Xi]=0\E[X_i]=0Var(Xi)<∞Var⁡(Xi)<∞\operatorname{ Var} (X_i)<\inftyn→∞n→∞n\to\infty∑i=1nXi→N(0,n−−√).∑i=1nXi→N(0,n). \sum_{i=1}^n X_i \to N\left(0, \sqrt{n}\right). Supposons plutôt que forment une chaîne de Markov à états finis avec …

10 markov-process central-limit-theorem

1

RNN avec la régularisation L2 cesse d'apprendre

J'utilise un RNN bidirectionnel pour détecter un événement d'occurrence déséquilibrée. La classe positive est 100 fois moins souvent que la classe négative. Sans utilisation de régularisation, je peux obtenir une précision de 100% sur le train et de 30% sur le jeu de validation. J'active la régularisation l2 et le …

10 neural-networks deep-learning regularization rnn

4

L'AUC est-elle la probabilité de classer correctement une instance sélectionnée au hasard dans chaque classe?

J'ai lu cette légende dans un journal et je n'ai jamais vu AUC décrit de cette façon ailleurs. Est-ce vrai? Existe-t-il une preuve ou un moyen simple de voir cela? La figure 2 montre la précision de prédiction des variables dichotomiques exprimées en termes d'aire sous la courbe caractéristique de …

10 classification roc auc

1

Analyse complexe, analyse fonctionnelle pour une meilleure compréhension du Machine Learning

Je souhaite approfondir le Machine Learning (théorie et application en Finance). Je veux savoir dans quelle mesure l' analyse complexe et l'analyse fonctionnelle sont pertinentes comme base de l'apprentissage automatique? Dois-je apprendre ces sujets ou dois-je me concentrer sur un autre sujet (si oui, sur quoi?)

10 machine-learning pac-learning

3

Calcul de la distribution à partir de min, moyenne et max

Supposons que j'ai le minimum, la moyenne et le maximum de certains ensembles de données, disons 10, 20 et 25. Y a-t-il un moyen de: créer une distribution à partir de ces données, et savoir quel pourcentage de la population se situe probablement au-dessus ou au-dessous de la moyenne Éditer: …

10 distributions standard-deviation mean maximum minimum

4

Meilleure façon d'amorcer N générateurs de nombres aléatoires indépendants à partir d'une valeur

Dans mon programme, je dois exécuter N threads séparés chacun avec leur propre RNG qui est utilisé pour échantillonner un grand ensemble de données. J'ai besoin de pouvoir semer tout ce processus avec une seule valeur afin de pouvoir reproduire les résultats. Suffit-il d'augmenter simplement séquentiellement le germe pour chaque …

10 python monte-carlo random-generation numpy

2

Définition fréquentiste de la probabilité; existe-t-il une définition formelle?

Existe-t-il une définition formelle (mathématique) de ce que les fréquentistes entendent par «probabilité»? J'ai lu que c'est la fréquence relative d'occurrence «à long terme», mais existe-t-il un moyen formel de la définir? Y a-t-il des références connues où je peux trouver cette définition? ÉDITER: Par fréquentiste (voir le commentaire de …

10 probability frequentist definition

2

Test d'hypothèse de risques proportionnels dans les modèles paramétriques

Je suis conscient de tester l'hypothèse des risques proportionnels dans le contexte des modèles Cox PH, mais je n'ai rien rencontré concernant les modèles paramétriques? Existe-t-il un moyen réalisable de tester l'hypothèse de PH de certains modèles paramétriques? Il semble qu'il faille préciser que les modèles paramétriques ne sont que …

10 survival assumptions proportional-hazards