Statistiques et Big Data

4

Je lis "Le rôle des échecs dans la recherche en intelligence artificielle" ( pdf ) et, fait intéressant, il dit: L'expérience [...] suggère que les contributions des experts en échecs, bien que généralement utiles, ne peuvent pas être totalement fiables. Un bon exemple de ceci est la fonction d'évaluation de …

15 games artificial-intelligence

3

Qu'est-ce qu'un processus d'analyse de données pratiquement bon?

J'aimerais connaître ou avoir des références sur le processus d'analyse que la plupart des analystes de données statistiques passent par chaque projet d'analyse de données. Si je fais une "liste", pour terminer un projet d'analyse de données, un analyste doit: recueillir d'abord les exigences du projet, planifier / concevoir son …

15 project-management

4

Classification avec données sur les graisses hautes

J'ai besoin de former un classificateur linéaire sur mon ordinateur portable avec des centaines de milliers de points de données et environ dix mille fonctionnalités. Quelles sont mes options? Quel est l'état de l'art pour ce type de problème? Il semble que la descente de gradient stochastique soit une direction …

15 classification

2

LASSO / LARS vs méthode générale à spécifique (GETS)

Je me demandais pourquoi les méthodes de sélection des modèles LASSO et LARS sont si populaires même si elles ne sont fondamentalement que des variations de la sélection pas à pas (et souffrent donc de la dépendance du chemin)? De même, pourquoi les méthodes GETS (General to Specific) pour la …

15 feature-selection model-selection lasso stepwise-regression lars

2

Quel langage utiliser pour la programmation génétique

Dans le cadre d'une mission, je devrai écrire un algorithme de programmation génétique qui fait la prédiction des niveaux de polluants atmosphériques. Comme je n'ai aucune expérience, quelqu'un peut-il m'indiquer des propositions de langages de programmation dans lesquels des programmes évolués seront écrits . Clarification: je ne demande pas quel …

15 genetic-algorithms

2

Comment effectuer une validation croisée avec un modèle de risques proportionnels de Cox?

Supposons que j'ai construit un modèle de prédiction pour l'occurrence d'une maladie particulière dans un jeu de données (le jeu de données de construction du modèle) et que je souhaite maintenant vérifier l'efficacité du modèle dans un nouveau jeu de données (le jeu de données de validation). Pour un modèle …

15 predictive-models cross-validation survival roc

2

Partitionnement des arbres dans R: party vs. rpart

Cela fait un moment que je n'ai pas regardé le partitionnement des arbres. La dernière fois que j'ai fait ce genre de choses, j'aime faire la fête en R (créé par Hothorn). L'idée de l'inférence conditionnelle via l'échantillonnage est logique pour moi. Mais rpart avait également un attrait. Dans l'application …

15 r cart rpart partitioning

2

Comment choisir le niveau de signification pour un grand ensemble de données?

Je travaille avec un ensemble de données ayant N environ 200 000. Dans les régressions, je vois des valeurs de signification très faibles << 0,001 associées à de très petites tailles d'effet, par exemple r = 0,028. Ce que j'aimerais savoir, est-ce qu'il existe un moyen de principe de décider …

15 regression probability statistical-significance sample-size

3

Quelle est une bonne approche pour enseigner le R dans un laboratoire informatique?

Il y a eu plusieurs bonnes questions et ensembles de réponses sur des livres d'introduction ou des approches pour apprendre R par exemple ici et ici . Mais j'ai un problème légèrement différent - la meilleure façon d'exécuter une session d'une heure (ou plusieurs de ces sessions) dans un laboratoire …

15 r teaching

1

Comment les fractionnements d'arbre de décision devraient-ils être mis en œuvre lors de la prévision des variables continues?

J'écris actuellement une implémentation de Random Forests mais je crois que la question est spécifique aux arbres de décision (indépendants des RF). Le contexte est donc que je crée un nœud dans un arbre de décision et que les variables de prédiction et de cible sont continues. Le nœud a …

15 algorithms cart random-forest

1

Densité de la distribution normale à mesure que les dimensions augmentent

La question que je veux poser est la suivante: comment la proportion d'échantillons à moins de 1 écart-type de la moyenne d'une distribution normale varie-t-elle à mesure que le nombre de variables augmente? (Presque) tout le monde sait que dans une distribution normale unidimensionnelle, 68% des échantillons se trouvent dans …

15 normal-distribution multivariate-analysis

2

Analyse au moment de l'exécution des algorithmes courants d'apprentissage automatique

Quelqu'un fait-il référence à un résumé des analyses d'exécution pour les algorithmes d'apprentissage automatique courants (différentes versions de NN, SVM, etc.)?

15 machine-learning references algorithms

3

Comment estimer le nombre d'occurrences uniques à partir d'un échantillonnage aléatoire de données?

Disons que j'ai un grand ensemble de valeurs qui se répètent parfois. Je souhaite estimer le nombre total de valeurs uniques dans le grand ensemble.SSS Si je prends un échantillon aléatoire de valeurs et détermine qu'il contient des valeurs uniques , puis-je l'utiliser pour estimer le nombre de valeurs uniques …

15 estimation sampling

3

Quand faut-il envisager d'utiliser GMM?

L'une des choses qui rend l'économétrie unique est l'utilisation de la technique de la méthode généralisée des moments. Quels types de problèmes rendent le GMM plus approprié que les autres techniques d'estimation? Qu'est-ce que l'utilisation de GMM vous apporte en termes d'efficacité, de biais réduit ou d'estimation de paramètres plus …

15 econometrics generalized-moments

4

Quelle est la corrélation si l'écart-type d'une variable est 0?

Si je comprends bien, nous pouvons obtenir la corrélation en normalisant la covariance en utilisant l'équation ρi,j=cov(Xi,Xj)σiσjρje,j=cov(Xje,Xj)σjeσj\rho_{i,j}=\frac{cov(X_i, X_j)}{\sigma_i \sigma_j} où est l'écart-type de . Xiσi=E[(Xi−μi)2]−−−−−−−−−−−√σi=E[(Xi−μi)2]\sigma_i=\sqrt{E[(X_i-\mu_i)^2]}XiXiX_i Ma préoccupation est que si l'écart-type est égal à zéro? Y a-t-il une condition qui garantit qu'il ne peut pas être nul? Merci.

15 correlation standard-deviation covariance