Statistiques et Big Data neural-networks

1

Comment gérer la modification de la longueur du vecteur d'entrée avec les réseaux de neurones

Je veux former un réseau neuronal avec une séquence de caractères comme vecteur d'entrée. Les exemples d'apprentissage ont une longueur différente et pour cette raison, je ne sais pas comment les représenter. Disons que j'ai deux exemples de séquences, voici des noms: john doe maurice delanoe Le premier exemple est …

9 machine-learning neural-networks feature-selection natural-language

1

Surajustement du réseau neuronal

J'ai appris qu'un sur-ajustement peut être détecté en traçant l'erreur d'apprentissage et l'erreur de test en fonction des époques. Comme dans: J'ai lu ce blog où ils disent que le réseau neuronal, net5 est trop adapté et ils fournissent ce chiffre: Ce qui est étrange pour moi, car l'erreur de …

9 neural-networks overfitting

2

Divergence contrastée persistante pour les RBM

Lorsque nous utilisons l'algorithme d'apprentissage de CD persistant pour les machines Bolzmann restreintes, nous commençons notre chaîne d'échantillonnage Gibbs dans la première itération à un point de données, mais contrairement au CD normal, dans les itérations suivantes, nous ne recommençons pas sur notre chaîne. Au lieu de cela, nous commençons …

9 machine-learning neural-networks rbm

3

La classification basée sur les réseaux neuronaux a-t-elle besoin d'une réduction de dimension?

J'utilise un classificateur basé sur les réseaux neuronaux pour exécuter une classification de mes données en n dimensions. Ensuite, j'ai pensé que ce pourrait être une bonne idée d'exécuter une réduction de dimension comme PCA pour mes données au début, puis de mettre les résultats PCA dans le classificateur (je …

9 pca neural-networks

1

Différence entre Naive Bayes et Recurrent Neural Network (LSTM)

Je veux effectuer une analyse de sentiment sur du texte, j'ai parcouru plusieurs articles, certains d'entre eux utilisent "Naive Bayes" et d'autres sont "Recurrent Neural Network (LSTM)" , d'autre part j'ai vu une bibliothèque python pour l'analyse de sentiment qui est nltk. Il utilise "Naive Bayes". Quelqu'un peut-il expliquer quelle …

8 machine-learning neural-networks python natural-language

1

Définition de la fonction softmax

Cette question fait suite à stats.stackexchange.com/q/233658 Le modèle de régression logistique pour les classes {0, 1} est P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx)P(y=1|x)=exp⁡(wTx)1+exp⁡(wTx)P(y=0|x)=11+exp⁡(wTx) \mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)} Clairement, ces probabilités sont à 1. En définissant …

8 logistic neural-networks multinomial-logit softmax identifiability

2

Un faible biais dans un échantillon est-il synonyme de variance élevée?

Est-ce que ce qui suit est vrai? biais faible = variance élevée biais élevé = faible variance Je comprends les biais élevés et faibles, mais en quoi la variance est-elle différente? Ou sont les synonymes ci-dessus?

8 machine-learning neural-networks variance sampling bias

3

Le théorème d'approximation universel pour les réseaux de neurones vaut-il pour une fonction d'activation?

Le théorème d'approximation universel pour les réseaux de neurones s'applique-t-il à une fonction d'activation (sigmoïde, ReLU, Softmax, etc ...) ou est-il limité aux fonctions sigmoïdes? Mise à jour: Comme le souligne shimao dans les commentaires, cela ne vaut absolument pour aucune fonction. Alors, pour quelle classe de fonctions d'activation tient-il?

8 neural-networks approximation

2

Identifiabilité des modèles de réseaux de neurones

Il est assez intuitif que la plupart des topologies / architectures de réseaux de neurones ne soient pas identifiables. Mais quels sont les résultats bien connus sur le terrain? Existe-t-il des conditions simples qui permettent / empêchent l’identifiabilité? Par exemple, tous les réseaux avec des fonctions d'activation non linéaires et …

8 neural-networks conv-neural-network rnn identifiability

2

Quelle est l'importance de l'expansion de la base pour les filets profonds?

Si les réseaux de neurones profonds sont considérés comme des approximateurs de fonctions universelles, l'expansion de la base est-elle vraiment nécessaire? Ou serait-ce spécifique au cas? Par exemple, si l'on a trois variables X quantitatives, y aurait-il un avantage à augmenter le nombre de variables en introduisant des interactions, des …

8 neural-networks deep-learning feature-construction

1

Pourquoi sqrt (6) est-il utilisé pour calculer epsilon pour l'initialisation aléatoire des réseaux de neurones?

Dans la semaine 5 notes de cours pour Coursera machine de classe d' apprentissage Andrew Ng , la formule suivante est donnée pour le calcul de la valeur de utilisé pour initialiser avec des valeurs aléatoires:ϵϵ\epsilonΘΘ\Theta Dans l' exercice , des précisions sont apportées: Une stratégie efficace pour choisir ϵinitϵinit\epsilon_{init} …

8 machine-learning neural-networks random-generation

1

Alternatives à la généralisation L1, L2 et Dropout

J'ai la configuration suivante pour un projet de recherche Finance / Machine Learning dans mon université: j'applique un (Deep) Neural Network (MLP) avec la structure suivante dans Keras / Theano pour distinguer les actions surperformantes (étiquette 1) des actions sous-performantes ( étiquette 0). En premier lieu, j'utilise simplement des multiples …

8 machine-learning neural-networks deep-learning regularization dropout

2

Réseaux de neurones: une époque en SGD est-elle la même qu'une époque en mini-batch?

Dans SGD, une époque serait la présentation complète des données d'entraînement, puis il y aurait N mises à jour de poids par époque (s'il y a N exemples de données dans l'ensemble d'entraînement). Si nous faisons maintenant des mini-lots à la place, disons par lots de 20. Une époque se …

8 machine-learning neural-networks

1

Perte soudaine de précision lors de la formation LSTM ou GRU à Keras

Mon réseau neuronal récurrent (LSTM, resp. GRU) se comporte d'une manière que je ne peux pas expliquer. L'entraînement commence et il s'entraîne bien (les résultats semblent assez bons) lorsque la précision diminue soudainement (et que la perte augmente rapidement) - à la fois les mesures d'entraînement et de test. Parfois, …

8 neural-networks lstm gru

2

Existe-t-il des moyens de gérer le gradient de fuite pour les non-linéarités saturantes qui n'impliquent pas la normalisation par lots ou les unités ReLu?

Je voulais former un réseau avec des non-linéarités qui souffrent de la disparition (ou du problème de gradient explosif mais principalement de la disparition). Je sais que la méthode standard (actuelle) consiste à utiliser la normalisation par lots 1 [BN] 1 ou simplement à abandonner la non-linéarité et à utiliser …

8 machine-learning neural-networks conv-neural-network batch-normalization

Questions marquées «neural-networks»