Statistiques et Big Data neural-networks

3

RNN pour des intervalles de temps irréguliers?

Les RNN sont remarquablement bons pour capturer la dépendance temporelle des données séquentielles. Cependant, que se passe-t-il lorsque les éléments de séquence ne sont pas également espacés dans le temps? Par exemple, la première entrée dans la cellule LSTM se produit le lundi, puis aucune donnée du mardi au jeudi, …

13 machine-learning neural-networks lstm rnn unevenly-spaced-time-series

1

Forme matricielle de rétropropagation avec normalisation par lots

La normalisation des lots a été attribuée à des améliorations substantielles des performances dans les réseaux neuronaux profonds. De nombreux documents sur Internet montrent comment l'implémenter sur une base d'activation par activation. J'ai déjà implémenté backprop en utilisant l'algèbre matricielle, et étant donné que je travaille dans des langages de …

12 machine-learning neural-networks deep-learning backpropagation batch-normalization

3

Architectures neuronales: conception automatique basée sur les données

Les progrès récents dans les réseaux de neurones sont résumés par une séquence de nouvelles architectures caractérisées principalement par sa complexité croissante de conception. De LeNet5 (1994) à AlexNet (2012), à Overfeat (2013) et GoogleLeNet / Inception (2014) et ainsi de suite ... Y a-t-il une tentative de laisser la …

12 neural-networks deep-learning

2

Capture des motifs initiaux lors de l'utilisation de la rétropropagation tronquée dans le temps (RNN / LSTM)

Disons que j'utilise un RNN / LSTM pour faire une analyse de sentiment, qui est une approche à plusieurs (voir ce blog ). Le réseau est formé à travers une rétropropagation tronquée dans le temps (BPTT), où le réseau est déroulé pour seulement 30 dernières étapes comme d'habitude. Dans mon …

12 neural-networks deep-learning natural-language backpropagation

1

Pourquoi les gens n'utilisent-ils pas des RBF plus profonds ou des RBF en combinaison avec MLP?

Donc, en regardant les réseaux de neurones à fonction de base radiale, j'ai remarqué que les gens ne recommandent que l'utilisation d'une seule couche cachée, alors qu'avec les réseaux de neurones perceptron multicouches, plus de couches sont considérées comme meilleures. Étant donné que les réseaux RBF peuvent être entraînés avec …

12 machine-learning neural-networks rbf-network

2

Quels sont les avantages de l'utilisation d'un réseau neuronal bayésien

Récemment, j'ai lu des articles sur le réseau neuronal bayésien (BNN) [Neal, 1992] , [Neal, 2012] , qui donne une relation de probabilité entre l'entrée et la sortie dans un réseau neuronal. La formation d'un tel réseau neuronal se fait par MCMC, qui est différent de l'algorithme traditionnel de rétropropagation. …

12 bayesian neural-networks bayesian-network

4

Quelle est la différence entre un réseau neuronal et un perceptron?

Y a-t-il une différence entre les termes "réseau neuronal" et "perceptron"?

12 machine-learning neural-networks terminology perceptron

5

Comment effectuer l'imputation de valeurs dans un très grand nombre de points de données?

J'ai un très grand ensemble de données et il manque environ 5% de valeurs aléatoires. Ces variables sont corrélées entre elles. L'exemple de jeu de données R suivant n'est qu'un exemple de jouet avec des données corrélées factices. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

2

Comment appliquer des réseaux de neurones sur des problèmes de classification multi-labels?

La description: Soit le domaine problématique la classification de documents où il existe un ensemble de vecteurs de caractéristiques, chacun appartenant à 1 ou plusieurs classes. Par exemple, un document doc_1peut appartenir aux catégories Sportset English. Question: En utilisant le réseau de neurones pour la classification, quelle serait l'étiquette pour …

12 machine-learning neural-networks natural-language multilabel

2

Application de l'apprentissage automatique pour le filtrage DDoS

Dans le cours d'apprentissage automatique de Stanford, Andrew Ng a mentionné l'application du ML en informatique. Quelque temps plus tard, lorsque j'ai obtenu des DDoS de taille modérée (environ 20 000 bots) sur notre site, j'ai décidé de lutter contre ce problème en utilisant un simple classificateur de réseau neuronal. …

12 classification neural-networks unsupervised-learning

2

Pourquoi une fonction de perte 0-1 est-elle insoluble?

Dans le livre Deep Learning d' Ian Goodfellow , il est écrit que Parfois, la fonction de perte dont nous nous soucions réellement (disons, erreur de classification) n'est pas celle qui peut être optimisée efficacement. Par exemple, la minimisation exacte de la perte 0-1 attendue est généralement insoluble (exponentielle dans …

12 neural-networks deep-learning loss-functions

2

Peut-on (théoriquement) former un réseau neuronal avec moins d'échantillons d'entraînement que de poids?

Tout d'abord: je sais, il n'y a pas de nombre général de taille d'échantillon requis pour former un réseau neuronal. Cela dépend de trop de facteurs comme la complexité de la tâche, le bruit dans les données, etc. Et plus j'aurai d'échantillons de formation, meilleur sera mon réseau. Mais je …

12 neural-networks overfitting underdetermined

3

Motivation des unités de sortie sigmoïdes dans les réseaux de neurones commençant par des probabilités logarithmiques non normalisées linéaires en

Contexte: J'étudie le chapitre 6 du Deep Learning par Ian Goodfellow et Yoshua Bengio et Aaron Courville. Dans la section 6.2.2.2 (pages 182 de 183 qui peuvent être consultées ici ), l'utilisation de sigmoïde pour produire est motivée.P(y=1|x)P(y=1|x)P(y=1|x) Pour résumer une partie du matériel, ils laissent un neurone de sortie …

12 neural-networks deep-learning

2

Comment la descente en gradient du mini-lot met-elle à jour les poids de chaque exemple dans un lot?

Si nous traitons par exemple 10 exemples dans un lot, je comprends que nous pouvons additionner la perte pour chaque exemple, mais comment fonctionne la rétropropagation en ce qui concerne la mise à jour des poids pour chaque exemple? Par exemple: Exemple 1 -> perte = 2 Exemple 2 -> …

12 neural-networks gradient-descent backpropagation tensorflow

2

Qu'est-ce que la contrainte maxnorm? Quelle est son utilité dans les réseaux de neurones convolutifs?

Voici un exemple de code keras qui l'utilise: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks regularization conv-neural-network optimization

Questions marquées «neural-networks»