Statistiques et Big Data neural-networks

2

Ajustement dynamique de l'architecture NN: inventer l'inutile?

Je commence mon voyage de doctorat et l'objectif ultime que je me suis fixé est de développer des RNA qui surveilleraient l'environnement dans lequel ils travaillent et adapteraient dynamiquement leur architecture au problème en cours. L'implication évidente est la temporalité des données: si l'ensemble de données n'est pas continu et …

9 machine-learning neural-networks

1

Mesurer la corrélation des réseaux de neurones entraînés

J'entraîne un réseau neuronal artificiel (rétropropagation, feed-forward) avec des données distribuées non normales. En plus de l'erreur quadratique moyenne, la littérature suggère souvent le coefficient de corrélation de Pearson pour évaluer la qualité du filet formé. Mais, le coefficient de corrélation de Pearson est-il raisonnable, si les données d'entraînement ne …

9 correlation neural-networks spearman-rho

1

Autoencodeur variationnel avec modèle de mélange gaussien

Un autoencodeur variationnel (VAE) fournit un moyen d'apprendre la distribution de probabilité reliant une entrée à sa représentation latente . En particulier, le codeur e mappe une entrée x à une distribution sur z . Un encodeur typique affichera des paramètres (\ mu, \ sigma) = e (x) , représentant …

9 neural-networks deep-learning autoencoders variational-bayes

1

Combien de paramètres y a-t-il dans une couche de réseau neuronal récurrent (RNN)?

Le titre dit tout - combien de paramètres entraînables y a-t-il dans une couche GRU? Ce type de question revient souvent lorsque l'on tente de comparer des modèles de différents types de couches RNN, tels que les unités de mémoire à court terme (LSTM) vs GRU, en termes de performances …

9 neural-networks rnn gru

1

Consigner les probabilités en référence au classificateur softmax

Dans ce https://cs231n.github.io/neural-networks-case-study/ pourquoi mentionne-t-il "le classificateur Softmax interprète chaque élément de ff comme détenant les probabilités de log (non normalisées) des trois classes." Je comprends pourquoi il n'est pas normalisé mais pas pourquoi il s'agit d'un journal? Que signifie une probabilité logarithmique? Pourquoi ne pas simplement dire des probabilités …

9 machine-learning neural-networks information-theory softmax

1

Qu'est-ce que la prédiction dense dans le Deep Learning?

J'utilise le modèle pré-formé de TensorFlow de réseau neuronal convolutionnel. https://github.com/tensorflow/models/blob/master/slim/nets/resnet_v2.py#L130 J'ai trouvé la phrase suivante: Cependant, pour les tâches de prédiction denses, nous conseillons d'utiliser des entrées dont les dimensions spatiales sont des multiples de 32 plus 1, par exemple [321, 321]. Quelqu'un sait-il ce qu'est la prédiction dense …

9 neural-networks conv-neural-network

1

Différenciation d'entropie croisée

J'ai essayé de créer un programme pour former des réseaux neuronaux sur mon ordinateur. Pour le réseau en question, j'ai décidé d'utiliser la fonction Cross Entropy Error: E= -∑jtjlnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Où est la sortie cible pour le neurone , et est la sortie de ce neurone, essayant de …

9 machine-learning neural-networks derivative cross-entropy differential-equations

3

Les données d'entraînement sont déséquilibrées - mais mon ensemble de validation devrait-il l'être également?

J'ai étiqueté des données composées de 10000 exemples positifs et 50000 exemples négatifs, ce qui donne un total de 60000 exemples. Évidemment, ces données sont déséquilibrées. Disons maintenant que je veux créer mon ensemble de validation et que je souhaite utiliser 10% de mes données pour le faire. Ma question …

9 machine-learning neural-networks cross-validation dataset unbalanced-classes

3

Comment le générateur d'un GAN est-il formé?

Le document sur les GAN indique que le discriminateur utilise le gradient suivant pour s'entraîner: ∇θré1m∑i = 1m[ journalD (X( i )) +journal( 1 - D ( G (z( i )) ) ) ]∇θd1m∑i=1m[log⁡D(x(i))+log⁡(1−D(G(z(i))))]\nabla _{\theta_d} \frac{1}{m}\sum^{m}_{i=1} [\log{D(x^{(i)})} + \log{(1-D(G(z^{(i)})))}] Les valeurs sont échantillonnées, passées à travers le générateur pour générer …

9 machine-learning neural-networks

1

Les arrêts et abandons précoces sont-ils suffisants pour régulariser la grande majorité des réseaux de neurones profonds dans la pratique?

Il y a tellement de techniques de régularisation qu'il n'est pas pratique d'essayer toutes les combinaisons: l1 / l2 norme max abandonner arrêt précoce ... Il semble que la plupart des gens soient satisfaits d'une combinaison d'abandon + d'arrêt précoce: y a-t-il des cas où l'utilisation d'autres techniques a du …

9 neural-networks regularization dropout

4

Quelles sont les senones dans un réseau neuronal profond?

Je lis cet article: traducteur skype où ils utilisent des CD-DNN-HMM (réseaux neuronaux profonds dépendants du contexte avec des modèles de Markov cachés). Je peux comprendre l'idée du projet et l'architecture qu'ils ont conçue mais je ne comprends pas ce que sont les senones . Je cherchais une définition mais …

9 neural-networks deep-learning terminology natural-language hidden-markov-model

1

Représentation vectorielle d'entrée vs représentation vectorielle de sortie dans word2vec

Dans les modèles CBOW et skip-gram de word2vec, comment le choix des vecteurs de mots de (matrice de mots d'entrée) par rapport au choix des vecteurs de mots de (matrice de mots de sortie) affecte-t-il la qualité des vecteurs de mots résultants?WWWW′W′W' CBOW: Skip-gram:

9 neural-networks natural-language word2vec word-embeddings

2

Différence entre les réseaux de neurones temporisés et les réseaux de neurones récurrents

J'aimerais utiliser un réseau neuronal pour prédire des séries temporelles financières. Je viens d'un milieu informatique et j'ai une certaine connaissance des réseaux de neurones et j'ai lu à ce sujet: TDNN RNN Je cherchais des packages R pour eux et je n'en ai trouvé qu'un pour RNN, le package …

9 time-series forecasting neural-networks finance

2

Vectorisation de la perte d'entropie croisée

Je suis confronté à un problème lié à la recherche du gradient de la fonction de perte d'entropie croisée par rapport au paramètre où:θθ\theta CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Où, et est une entrée vectorielle.y^i=softmax(θi)y^i=softmax(θi)\hat{y}_{i} = softmax(\theta_i)θiθi\theta_i De plus, est un vecteur chaud de la classe correcte et est la prédiction pour …

9 machine-learning neural-networks

3

La fonction de coût d'entropie croisée pour un réseau de neurones est-elle convexe?

Mon professeur a prouvé que la dérivée seconde de l'entropie croisée est toujours positive, de sorte que la fonction de coût des réseaux de neurones utilisant l'entropie croisée est convexe. Est-ce vrai? Je suis assez confus à ce sujet car j'ai toujours appris que la fonction de coût de ANN …

9 neural-networks convex

Questions marquées «neural-networks»