Statistiques et Big Data data-mining

5

Comment comprendre les inconvénients de K-means

K-means est une méthode largement utilisée dans l'analyse par grappes. À mon sens, cette méthode ne nécessite AUCUNE hypothèse, c’est-à-dire qu’elle me donne un ensemble de données et un nombre de grappes prédéterminé, k, et que je m’applique simplement à cet algorithme qui minimise la somme des erreurs au carré …

365 machine-learning clustering data-mining k-means

12

Quelle est la différence entre l'exploration de données, les statistiques, l'apprentissage automatique et l'IA?

Quelle est la différence entre l'exploration de données, les statistiques, l'apprentissage automatique et l'IA? Serait-il juste de dire que ce sont 4 domaines qui tentent de résoudre des problèmes très similaires mais avec des approches différentes? Qu'ont-ils en commun et en quoi diffèrent-ils? S'il y avait une sorte de hiérarchie …

208 machine-learning data-mining

4

Kappa de Cohen en anglais clair

Je lis un livre de data mining qui mentionnait la statistique Kappa comme moyen d’évaluer les performances de prévision des classificateurs. Cependant, je ne peux tout simplement pas comprendre cela. J'ai aussi vérifié Wikipedia mais cela n'a pas aidé aussi: https://en.wikipedia.org/wiki/Cohen's_kappa . Comment le kappa de Cohen aide-t-il à évaluer …

131 classification data-mining cohens-kappa

9

Obtenir des connaissances à partir d'une forêt aléatoire

Les forêts aléatoires sont considérées comme des boîtes noires, mais récemment, je pensais quelles connaissances peuvent être obtenues à partir d'une forêt aléatoire. La chose la plus évidente est l’importance des variables, dans la variante la plus simple, il suffit de calculer le nombre d’occurrences d’une variable. La deuxième chose …

127 machine-learning data-mining interaction random-forest cart

11

Avoir un emploi dans l'exploration de données sans doctorat

L’ exploration de données et l’ apprentissage automatique me passionnent depuis un certain temps, en partie parce que j’ai étudié la matière à l’école, mais aussi parce que j’ai vraiment beaucoup plus hâte de résoudre des problèmes qui nécessitent un peu plus de réflexion que de programmation. connaissances et dont …

73 machine-learning data-mining careers phd

7

La distance euclidienne n'est généralement pas bonne pour les données rares?

J'ai vu quelque part que les distances classiques (comme la distance euclidienne) deviennent faiblement discriminantes lorsque nous disposons de données multidimensionnelles et rares. Pourquoi? Avez-vous un exemple de deux vecteurs de données clairsemés où la distance euclidienne ne fonctionne pas bien? Dans ce cas, quelle similarité devrions-nous utiliser?

72 machine-learning clustering data-mining sparse euclidean

8

Des compétences difficiles à trouver chez les apprenants en machine?

Il semble que l’exploration de données et l’apprentissage automatique soient devenus si populaires qu’à présent presque tous les étudiants CS connaissent les classificateurs, le regroupement, la PNL statistique, etc. Ma question est la suivante: quelles compétences un fouisseur de données pourrait-il acquérir pour le rendre différent des autres? Pour faire …

71 machine-learning data-mining

8

Générer une variable aléatoire avec une corrélation définie avec une ou plusieurs variables existantes

Pour une étude de simulation , je dois générer des variables aléatoires qui montrent une corrélation prefined (population) à une variable existante .YYY J'ai examiné les Rpackages copulaet ceux CDVinequi peuvent produire des distributions multivariées aléatoires avec une structure de dépendance donnée. Cependant, il n'est pas possible de fixer l'une …

71 r correlation random-variable random-generation independence assumptions random-variable unbiased-estimator regression hypothesis-testing heteroscedasticity generalized-least-squares distributions networks data-visualization sas reproducible-research philosophical time-series variance outliers quality-control mean multilevel-analysis average weighted-mean regression confidence-interval prediction-interval correlation matlab matrix data-mining maximum-likelihood r time-series survival predictive-models

2

Pourquoi seulement trois partitions? (formation, validation, test)

Lorsque vous essayez d'adapter des modèles à un jeu de données volumineux, il est généralement conseillé de partitionner les données en trois parties: le jeu de données d'apprentissage, de validation et de test. En effet, les modèles ont généralement trois "niveaux" de paramètres: le premier "paramètre" est la classe du …

61 machine-learning model-selection data-mining

12

Logiciel nécessaire pour extraire les données du graphique [fermé]

Quelqu'un a-t-il une expérience avec un logiciel (de préférence gratuit, de préférence open source) qui prend une image de données tracées sur des coordonnées cartésiennes (un tracé standard quotidien) et extrait les coordonnées des points tracés sur le graphique? Il s’agit essentiellement d’un problème d’exploration de données et d’un problème …

56 data-visualization data-mining software

8

L'échantillonnage est-il pertinent à l'époque des «données volumineuses»?

Ou plus encore "ça va être"? Le Big Data rend les statistiques et les connaissances pertinentes d'autant plus importantes mais semble sous-estimer la théorie de l'échantillonnage. J'ai déjà vu ce battage publicitaire autour du «Big Data» et je ne peux m'empêcher de me demander «pourquoi» voudrais-je tout analyser ? N'y …

54 sampling data-mining large-data

3

Avons-nous un problème de «pitié upvotes»?

Je sais, cela peut sembler hors sujet, mais écoutez-moi. Au débordement de pile et ici nous obtenons des votes sur les articles, tout cela est stocké dans un tableau. Par exemple: post id id électeur type de vote date / heure ------- -------- --------- -------- 10 1 2 2000-1-1 10:00:01 …

51 time-series hypothesis-testing data-mining markov-process censoring

3

Regroupement avec K-Means et EM: comment sont-ils liés?

J'ai étudié des algorithmes permettant de regrouper des données (apprentissage non supervisé): EM et k-means. Je continue à lire ce qui suit: k-means est une variante de EM, avec l'hypothèse que les grappes sont sphériques. Quelqu'un peut-il expliquer la phrase ci-dessus? Je ne comprends pas ce que signifie sphérique, ni …

50 machine-learning clustering data-mining k-means expectation-maximization

1

Mesures de performance pour évaluer l'apprentissage non supervisé

En ce qui concerne l'apprentissage non supervisé (comme la mise en cluster), existe-t-il des métriques permettant d'évaluer les performances?

49 machine-learning clustering data-mining unsupervised-learning

3

Quelles sont les différences entre les modèles de Markov cachés et les réseaux de neurones?

Je ne fais que me mouiller dans les statistiques alors je suis désolé si cette question n’a pas de sens. J'ai utilisé des modèles de Markov pour prédire les états cachés (casinos injustes, lancers de dés, etc.) et des réseaux de neurones pour étudier les clics d'utilisateurs sur un moteur …

40 data-mining algorithms neural-networks markov-process

Questions marquées «data-mining»