Statistiques et Big Data high-dimensional

8

Pourquoi la distance euclidienne n'est-elle pas une bonne métrique dans les grandes dimensions?

J'ai lu que "la distance euclidienne n'est pas une bonne distance dans les grandes dimensions". Je suppose que cette déclaration a quelque chose à voir avec la malédiction de la dimensionnalité, mais quoi au juste? En outre, qu'est-ce que les «grandes dimensions»? J'appliquais la classification hiérarchique en utilisant la distance …

241 machine-learning clustering distance-functions metric high-dimensional

11

Expliquer la malédiction de la dimensionnalité à un enfant

J'ai souvent entendu parler de malédiction de la dimensionnalité, mais d'une manière ou d'une autre, je suis toujours incapable de saisir l'idée, tout est brumeux. Est-ce que quelqu'un peut expliquer cela de la manière la plus intuitive, comme vous le feriez à un enfant, pour que moi (et les autres …

93 machine-learning dimensionality-reduction high-dimensional

7

Meilleur algorithme PCA pour un grand nombre de fonctionnalités (> 10K)?

J'ai déjà posé cette question à StackOverflow, mais il semble que cela conviendrait mieux ici, étant donné que cela n'a pas donné de réponse à SO. C'est un peu à la croisée des statistiques et de la programmation. J'ai besoin d'écrire du code pour faire PCA (analyse en composantes principales). …

54 pca algorithms model-evaluation high-dimensional

3

Comment estimer le paramètre de retrait dans la régression de Lasso ou de crête avec des variables> 50K?

Je souhaite utiliser la régression de Lasso ou de crête pour un modèle comportant plus de 50 000 variables. Je souhaite utiliser un logiciel en mode R. Comment puis-je estimer le paramètre de retrait ( λλ\lambda )? Modifications: Voici le point je me suis levé à: set.seed (123) Y <- …

36 r lasso ridge-regression high-dimensional

3

La réduction de dimensionnalité pour la visualisation doit-elle être considérée comme un problème «fermé», résolu par t-SNE?

J'ai beaucoup lu sur l' algorithme -snettt pour la réduction de dimensionnalité. Je suis très impressionné par les performances sur les ensembles de données "classiques", comme MNIST, où il réalise une séparation claire des chiffres ( voir l'article original ): Je l'ai également utilisé pour visualiser les fonctionnalités apprises par …

23 clustering data-visualization dimensionality-reduction high-dimensional tsne

1

Pourquoi LASSO ne trouve-t-il pas ma paire de prédicteurs parfaite à haute dimensionnalité?

J'exécute une petite expérience avec la régression LASSO dans R pour tester s'il est capable de trouver une paire de prédicteurs parfaite. La paire est définie comme ceci: f1 + f2 = résultat Le résultat ici est un vecteur prédéterminé appelé «âge». F1 et f2 sont créés en prenant la …

20 r regression feature-selection lasso high-dimensional

1

Les données doivent-elles être centrées + mises à l'échelle avant d'appliquer t-SNE?

Certaines fonctionnalités de mes données ont de grandes valeurs, tandis que d'autres fonctionnalités ont des valeurs beaucoup plus petites. Est-il nécessaire de centrer + l'échelle des données avant d'appliquer t-SNE pour éviter un biais vers les valeurs plus grandes? J'utilise l'implémentation sklearn.manifold.TSNE de Python avec la métrique de distance euclidienne …

18 normalization dimensionality-reduction high-dimensional tsne

4

La «malédiction de la dimensionnalité» existe-t-elle vraiment dans les données réelles?

Je comprends ce qu'est la «malédiction de la dimensionnalité», et j'ai fait quelques problèmes d'optimisation dimensionnelle élevée et je connais le défi des possibilités exponentielles. Cependant, je doute que la "malédiction de la dimensionnalité" existe dans la plupart des données du monde réel (eh bien, mettons les images ou les …

17 clustering dimensionality-reduction high-dimensional

1

Régression haute dimension: pourquoi spécial?

J'essaie de lire sur la recherche dans le domaine de la régression à haute dimension; lorsque est supérieur à , c'est-à-dire . Il semble que le terme apparaisse souvent en termes de taux de convergence pour les estimateurs de régression.n p > > n log p / npppnnnp>>np>>np >> nlogp/nlog⁡p/n\log …

16 regression lasso convergence high-dimensional

1

La malédiction dimensionnelle affecte-t-elle certains modèles plus que d'autres?

Les endroits que j'ai lus sur la malédiction de la dimensionnalité l'expliquent conjointement avec kNN principalement et les modèles linéaires en général. Je vois régulièrement les meilleurs classeurs de Kaggle utiliser des milliers d'entités sur un ensemble de données qui ne contient pratiquement pas 100 000 points de données. Ils …

15 neural-networks svm k-means k-nearest-neighbour high-dimensional

3

PCA sur les données textuelles de grande dimension avant la classification aléatoire des forêts?

Est-il judicieux de faire de l'ACP avant d'effectuer une classification aléatoire des forêts? J'ai affaire à des données de texte de grande dimension, et je veux faire une réduction de fonctionnalités pour éviter la malédiction de la dimensionnalité, mais Random Forests ne fait-il pas déjà une sorte de réduction de …

13 classification pca random-forest dimensionality-reduction high-dimensional

2

Comment puis-je savoir que mon algorithme de clustering k-means souffre de la malédiction de la dimensionnalité?

Je pense que le titre de cette question dit tout.

12 clustering k-means high-dimensional

2

La régression linéaire multiple en 3 dimensions est-elle un plan de meilleur ajustement ou une ligne de meilleur ajustement?

Notre prof ne se lance pas dans les mathématiques ou même la représentation géométrique de la régression linéaire multiple et cela m'a légèrement confus. D'une part, il est toujours appelé régression linéaire multiple , même dans des dimensions plus élevées. D'un autre côté, si nous avons par exemple et que …

11 multiple-regression high-dimensional

4

Malédiction de dimensionnalité: classificateur kNN

Je lis le livre de Kevin Murphy: Machine Learning-A probabilistic Perspective. Dans le premier chapitre, l'auteur explique la malédiction de la dimensionnalité et il y a une partie que je ne comprends pas. À titre d'exemple, l'auteur déclare: Considérez que les entrées sont uniformément réparties le long d'un cube unitaire …

11 self-study k-nearest-neighbour high-dimensional

1

Le théorème du contraste relatif de Beyer et al. papier: «Sur le comportement surprenant des métriques de distance dans l'espace de grande dimension» trompeur?

Ceci est cité très souvent en mentionnant la malédiction de la dimensionnalité et va (formule de droite appelée contraste relatif) limré→ ∞var ( | | Xré| |kE[ | | Xré| |k]) =0,alors: Dmaxkré- Dminkréréminkré→ 0limré→∞var(||Xré||kE[||Xré||k])=0,alors:rémaxrék-réminrékréminrék→0 \lim_{d\rightarrow \infty} \text{var} \left(\frac{||X_d||_k}{E[||X_d||_k]} \right) = 0, \text{then}: \frac{D_{\max^{k}_{d}} - D_{\min^{k}_{d}}}{D_{\min^{k}_{d}}} \rightarrow 0 Le résultat …

10 machine-learning distance-functions high-dimensional

Questions marquées «high-dimensional»