Statistiques et Big Data data-mining

3

Distribution binomiale négative vs distribution binomiale

Quelle est la différence entre la distribution binomiale négative et la distribution binomiale? J'ai essayé de lire en ligne et j'ai trouvé que la distribution binomiale négative est utilisée lorsque les points de données sont discrets, mais je pense que même la distribution binomiale peut être utilisée pour les points …

22 categorical-data data-mining binomial negative-binomial

8

Effectuer un regroupement K-means (ou ses proches parents) avec uniquement une matrice de distance, pas des données de points par entités

Je veux effectuer un regroupement K-means sur les objets que j'ai, mais les objets ne sont pas décrits comme des points dans l'espace, c'est-à-dire par objects x featuresensemble de données. Cependant, je suis capable de calculer la distance entre deux objets quelconques (il est basé sur une fonction de similitude). …

22 machine-learning clustering data-mining k-means distance

5

Une nouvelle façon révolutionnaire d'exploration de données?

L'extrait suivant est tiré de Schwager's Hedge Fund Market Wizzards (mai 2012), une entrevue avec le gestionnaire de fonds de couverture à succès constant Jaffray Woodriff: À la question: "Quelles sont les pires erreurs que les gens commettent dans l'exploration de données?": Beaucoup de gens pensent qu'ils vont bien parce …

21 data-mining curve-fitting out-of-sample

3

Première étape pour les mégadonnées (

Supposons que vous analysez un énorme ensemble de données à hauteur de milliards d'observations par jour, où chaque observation comporte quelques milliers de variables numériques et catégorielles éparses et peut-être redondantes. Disons qu'il y a un problème de régression, un problème de classification binaire déséquilibré et une tâche de «découvrir …

21 r machine-learning data-mining large-data

4

Les arbres de décision sont-ils presque toujours des arbres binaires?

Presque chaque exemple d'arbre de décision que j'ai rencontré se trouve être un arbre binaire. Est-ce à peu près universel? La plupart des algorithmes standard (C4.5, CART, etc.) prennent-ils uniquement en charge les arbres binaires? D'après ce que je comprends, CHAID n'est pas limité aux arbres binaires, mais cela semble …

21 machine-learning data-mining cart

2

Validation croisée (généralisation des erreurs) après la sélection du modèle

Remarque: le cas est n >> p Je lis Éléments d'apprentissage statistique et il y a diverses mentions sur la «bonne» façon de faire la validation croisée (par exemple page 60, page 245). Plus précisément, ma question est de savoir comment évaluer le modèle final (sans ensemble de test séparé) …

21 machine-learning model-selection data-mining cross-validation

2

Si le clustering k-means est une forme de modélisation de mélange gaussienne, peut-il être utilisé lorsque les données ne sont pas normales?

Je lis Bishop sur l'algorithme EM pour GMM et la relation entre GMM et k-means. Dans ce livre, il est dit que k-means est une version difficile à attribuer de GMM. Je me demande si cela implique que si les données que j'essaie de regrouper ne sont pas gaussiennes, je …

21 clustering data-mining k-means gaussian-mixture

4

Comment savoir si les données sont séparables linéairement?

Les données ont de nombreuses fonctionnalités (par exemple 100) et le nombre d'instances est comme 100 000. Les données sont rares. Je veux ajuster les données en utilisant une régression logistique ou svm. Comment savoir si les fonctionnalités sont linéaires ou non linéaires afin de pouvoir utiliser l'astuce du noyau …

21 machine-learning logistic svm data-mining

2

Où et pourquoi le deep learning brille-t-il?

Avec toutes les discussions et le battage médiatique sur l'apprentissage profond ces jours-ci, j'ai lu des trucs élémentaires à ce sujet. Je viens de découvrir que ce n'est qu'une autre méthode d'apprentissage automatique pour apprendre des modèles à partir de données. Mais ma question est: d'où vient et pourquoi cette …

20 machine-learning data-mining deep-learning deep-belief-networks

2

Fonction «Intérêt» pour les questions StackExchange

J'essaie de mettre en place un package d'exploration de données pour les sites StackExchange et en particulier, je suis coincé en essayant de déterminer les questions "les plus intéressantes". Je voudrais utiliser le score de la question, mais supprimer le biais dû au nombre de vues, mais je ne sais …

20 data-mining predictive-models

1

Supervision à distance: supervisée, semi-supervisée ou les deux?

La «supervision distante» est un schéma d'apprentissage dans lequel un classificateur est appris en fonction d'un ensemble de formation faiblement étiqueté (les données de formation sont étiquetées automatiquement sur la base d'heuristiques / règles). Je pense que l'apprentissage supervisé et l'apprentissage semi-supervisé peuvent inclure une telle «supervision à distance» si …

20 machine-learning data-mining dataset references unsupervised-learning

2

Boosting: pourquoi le taux d'apprentissage est-il appelé paramètre de régularisation?

Le paramètre de taux d'apprentissage ( ) dans Gradient Boosting réduit la contribution de chaque nouveau modèle de base - généralement un arbre peu profond - qui est ajouté dans la série. Il s'est avéré augmenter considérablement la précision de l'ensemble de test, ce qui est compréhensible car avec des …

19 machine-learning data-mining predictive-models boosting overfitting

3

Quelle est la différence pratique entre les règles d'association et les arbres de décision dans l'exploration de données?

Existe-t-il une description très simple des différences pratiques entre ces deux techniques? Les deux semblent être utilisés pour l'apprentissage supervisé (bien que les règles d'association puissent également gérer sans supervision). Les deux peuvent être utilisés pour la prédiction Le plus proche que j'ai trouvé à une «bonne» description est du …

19 data-mining association-rules

6

Programmeur cherchant à percer dans le domaine de l'apprentissage automatique

Je suis développeur de logiciels (principalement .NET et Python environ 5 ans d'expérience). Que puis-je faire pour m'aider à trouver un emploi dans le domaine de l'apprentissage automatique ou vraiment tout ce qui me permettra de me lancer dans ce domaine? Le diplôme d'études supérieures est-il une exigence difficile?

19 machine-learning data-mining careers

6

Quelle est la différence entre l'exploration de données et l'analyse statistique?

Quelle est la différence entre l'exploration de données et l'analyse statistique? Pour certains antécédents, mon éducation statistique a été, je pense, plutôt traditionnelle. Une question spécifique est posée, la recherche est conçue et les données sont collectées et analysées pour donner un aperçu de cette question. Par conséquent, j'ai toujours …

19 data-mining terminology analysis

Questions marquées «data-mining»