Utilisez le liblinéaire sur le Big Data pour l'analyse sémantique

17

J'utilise Libsvm pour former des données et prédire la classification d'un problème d' analyse sémantique . Mais il a un problème de performance sur les données à grande échelle, car l'analyse sémantique concerne le problème à n dimensions .

L'année dernière, Liblinear a été publié, et il peut résoudre le goulot d'étranglement des performances. Mais cela coûte trop de mémoire . MapReduce est-il le seul moyen de résoudre un problème d'analyse sémantique sur les mégadonnées? Ou existe-t-il d'autres méthodes qui peuvent améliorer le goulot d'étranglement de la mémoire sur Liblinear ?

machine-learning bigdata libsvm

— Puffin GDI
source

11

Notez qu'il existe une première version de LIBLINEAR portée sur Apache Spark . Voir les commentaires de la liste de diffusion pour quelques premiers détails et le site du projet .

— Sean Owen
source

Merci pour votre réponse. Il semble différent de SVM. Je vais l'examiner. :)

— Puffin GDI

4

Juste un rappel que nous n'encourageons pas les liens hors site vers une réponse, car il est facile de rompre les liens, ce qui fait qu'une ressource communautaire autrement utile se transforme en impasse. Il est toujours préférable de mettre la réponse directement dans votre message.

— Ana

1

D'accord avec cela. À ce stade, il existe à peine plus que ce lien de toute façon. J'ajouterai un lien vers le projet sous-jacent.

— Sean Owen

10

Vous pouvez consulter le wabbit vowpal . Il est assez populaire pour l'apprentissage à grande échelle et comprend des dispositions parallèles.

Depuis leur site Web:

VW est l'essence même de la vitesse dans l'apprentissage automatique, capable d'apprendre facilement des ensembles de données de térafonction. Grâce à l'apprentissage parallèle, il peut dépasser le débit de n'importe quelle interface réseau d'une seule machine lors de l'apprentissage linéaire, une première parmi les algorithmes d'apprentissage.

— Marc Claesen
source

1

Open source et certains wiki. Ça à l'air bon. Merci pour votre suggestion. :)

— Puffin GDI