Science des données

5

Les données de notre SGBD relationnel deviennent volumineuses, est-il temps de passer à NoSQL?

Nous avons créé une application de réseau social à des fins d'apprentissage en ligne. C'est un projet expérimental que nous recherchons dans notre laboratoire. Il a été utilisé dans certaines études de cas pendant un certain temps et les données de notre SGBD relationnel (SQL Server 2008) deviennent volumineuses. Cela …

17 nosql relational-dbms

1

Comment fonctionne le paramètre validation_split de la fonction d'ajustement de Keras?

La validation-division dans la fonction d'ajustement du modèle Keras Sequential est documentée comme suit sur https://keras.io/models/sequential/ : validation_split: Flotter entre 0 et 1. Fraction des données d'apprentissage à utiliser comme données de validation. Le modèle séparera cette fraction des données d'entraînement, ne s'entraînera pas dessus et évaluera la perte et …

17 keras data cross-validation

2

Pourquoi utiliser à la fois l'ensemble de validation et l'ensemble de test?

Considérons un réseau de neurones: Pour un ensemble de données donné, nous le divisons en ensemble de formation, de validation et de test. Supposons que nous le fassions dans le rapport classique 60:20:20, puis nous empêchons le surapprentissage en validant le réseau en le vérifiant sur l'ensemble de validation. Alors, …

17 machine-learning neural-network cross-validation

4

Des «règles de base» sur le nombre de fonctionnalités par rapport au nombre d'instances? (petits ensembles de données)

Je me demande s'il existe des heuristiques sur le nombre de caractéristiques par rapport au nombre d'observations. Évidemment, si un certain nombre de caractéristiques est égal au nombre d'observations, le modèle se surajustera. En utilisant des méthodes clairsemées (LASSO, filet élastique), nous pouvons supprimer plusieurs fonctionnalités pour réduire le modèle. …

17 feature-selection model-selection

3

Comment calculer l'impact de la mémoire mini-batch lors de la formation de modèles d'apprentissage en profondeur?

J'essaie de calculer la quantité de mémoire nécessaire à un GPU pour entraîner mon modèle sur la base de ces notes d'Andrej Karphaty: http://cs231n.github.io/convolutional-networks/#computational-considerations Mon réseau a 532 752 activations et 19 072 984 paramètres (poids et biais). Ce sont toutes des valeurs flottantes de 32 bits, donc chacune prend …

17 deep-learning tensorflow

5

Choisissez l'algorithme de classification binaire

J'ai un problème de classification binaire: Environ 1000 échantillons dans le kit de formation 10 attributs, y compris binaire, numérique et catégorique Quel algorithme est le meilleur choix pour ce type de problème? Par défaut, je vais commencer par SVM (préliminaire ayant des valeurs d'attributs nominales converties en fonctionnalités binaires), …

17 classification binary svm random-forest logistic-regression

1

Deep Neural Network - Backpropogation avec ReLU

J'ai du mal à dériver la propagation avec ReLU, et j'ai fait du travail, mais je ne sais pas si je suis sur la bonne voie. Fonction de coût: où est la valeur réelle et est une valeur prédite. Supposons également que > 0 toujours.y y x12(y−y^)212(y-y^)2\frac{1}{2}(y-\hat y)^2yyyy^y^\hat yxXx 1 …

17 neural-network backpropagation

4

Quel est l'avantage de diviser le fichier tfrecord en fragments?

Je travaille sur la reconnaissance vocale avec Tensorflow et je prévois de former LSTM NN avec un ensemble de données d'ondes massives. En raison des gains de performances, je prévois d'utiliser des tfrecords. Il existe plusieurs exemples sur Internet (Inception par exemple) où les fichiers tfrecords sont divisés en fragments. …

17 python tensorflow

5

Fusionner des données rares et denses dans l'apprentissage automatique pour améliorer les performances

J'ai des caractéristiques clairsemées qui sont prédictives, j'ai aussi des caractéristiques denses qui sont également prédictives. J'ai besoin de combiner ces fonctionnalités pour améliorer les performances globales du classificateur. Maintenant, le problème est que lorsque j'essaie de les combiner, les entités denses ont tendance à dominer davantage les entités clairsemées, …

17 machine-learning classification predictive-modeling scikit-learn supervised-learning

2

Devrions-nous également appliquer la normalisation aux données de test?

Je fais un projet sur le problème d'identification des auteurs. J'avais appliqué la normalisation tf-idf pour former des données, puis formé un svm sur ces données. Maintenant, lorsque j'utilise le classificateur, dois-je également normaliser les données de test. Je pense que l'objectif de base de la normalisation est de faire …

17 machine-learning neural-network deep-learning

3

Vous cherchez un bon package pour la détection d'anomalies dans les séries chronologiques

Existe-t-il un package open source complet (de préférence en python ou R) qui peut être utilisé pour la détection d'anomalies dans les séries temporelles? Il existe un package SVM d'une classe dans scikit-learn, mais ce n'est pas pour les données de séries chronologiques. Je recherche des packages plus sophistiqués qui, …

17 python time-series anomaly-detection

2

Exemple de rappel Keras pour enregistrer un modèle après chaque époque?

Quelqu'un peut-il poster un exemple simple de Keras utilisant un rappel pour enregistrer un modèle après chaque époque? Je peux trouver des exemples d'économies de poids, mais je veux pouvoir enregistrer un modèle complètement fonctionnel après chaque époque d'entraînement.

17 python keras

8

Comment compter le nombre de valeurs manquantes dans chaque ligne dans la trame de données Pandas?

Comment puis-je obtenir le nombre de valeurs manquantes dans chaque ligne dans la trame de données Pandas. Je voudrais diviser la trame de données en différentes trames de données qui ont le même nombre de valeurs manquantes dans chaque ligne. Toute suggestion?

17 python pandas

2

Quelle fonction de perte utiliser pour les classes déséquilibrées (en utilisant PyTorch)?

J'ai un ensemble de données avec 3 classes avec les éléments suivants: Classe 1: 900 éléments Classe 2: 15 000 éléments Classe 3: 800 éléments Je dois prédire les classes 1 et 3, qui signalent des écarts importants par rapport à la norme. La classe 2 est le cas «normal» …

17 neural-network pytorch

2

Où dans le flux de travail devons-nous traiter les données manquantes?

Je crée un flux de travail pour créer des modèles d'apprentissage automatique (dans mon cas, en utilisant Python pandaset des sklearnpackages) à partir de données extraites d'une très grande base de données (ici, Vertica via SQL et pyodbc), et une étape critique de ce processus consiste à imputer les données …

16 machine-learning python pandas scikit-learn