Statistiques et Big Data softmax

4

Fonction Softmax vs Sigmoid dans un classificateur logistique?

Qu'est-ce qui détermine le choix de la fonction (Softmax vs Sigmoid) dans un classificateur logistique? Supposons qu'il existe 4 classes de sortie. Chacune des fonctions ci-dessus donne les probabilités que chaque classe soit la sortie correcte. Alors lequel choisir pour un classificateur?

63 machine-learning logistic classification softmax

6

Propagation du dos avec Softmax / Entropie croisée

J'essaie de comprendre comment fonctionne la rétropropagation pour une couche de sortie softmax / entropie croisée. La fonction d'erreur d'entropie croisée est E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j avec et comme cible et sortie au neurone , respectivement. La somme est sur chaque neurone dans la couche de sortie. lui-même est le …

40 backpropagation derivative softmax cross-entropy

1

Entropie croisée ou log vraisemblance dans la couche de sortie

J'ai lu cette page: http://neuralnetworksanddeeplearning.com/chap3.html et il a dit que la couche de sortie sigmoïde avec entropie croisée est assez similaire à la couche de sortie softmax avec log-vraisemblance. que se passe-t-il si j'utilise sigmoïde avec log-vraisemblance ou softmax avec entropie croisée dans la couche de sortie? ça va? parce …

31 neural-networks maximum-likelihood softmax

4

Pourquoi la sortie softmax n'est-elle pas une bonne mesure d'incertitude pour les modèles Deep Learning?

Je travaille avec les réseaux neuronaux convolutionnels (CNN) depuis un certain temps maintenant, principalement sur les données d'image pour la segmentation sémantique / segmentation d'instance. J'ai souvent visualisé le softmax de la sortie réseau comme une "carte thermique" pour voir à quel point les activations par pixel sont élevées pour …

22 probability deep-learning conv-neural-network uncertainty softmax

2

Pourquoi la fonction softmax est-elle utilisée pour calculer les probabilités alors que nous pouvons diviser chaque valeur par la somme du vecteur?

L'application de la fonction softmax sur un vecteur produira des "probabilités" et des valeurs comprises entre et . 000111 Mais nous pouvons également diviser chaque valeur par la somme du vecteur et cela produira des probabilités et des valeurs comprises entre et .000111 J'ai lu la réponse ici mais il …

20 machine-learning neural-networks softmax

1

Comment configurer un réseau neuronal pour produire des données ordinales?

J'ai un réseau de neurones mis en place pour prédire quelque chose où la variable de sortie est ordinale. Je décrirai ci-dessous en utilisant trois sorties possibles A <B <C. Il est assez évident de savoir comment utiliser un réseau de neurones pour produire des données catégorielles: la sortie est …

20 neural-networks ordinal-data softmax

1

Caret glmnet vs cv.glmnet

Il semble y avoir beaucoup de confusion dans la comparaison de l'utilisation à l' glmnetintérieur caretpour rechercher un lambda optimal et à utiliser cv.glmnetpour faire la même tâche. De nombreuses questions ont été posées, par exemple: Modèle de classification train.glmnet vs cv.glmnet? Quelle est la bonne façon d'utiliser glmnet avec …

14 r caret glmnet machine-learning neural-networks maximum softmax probability distributions mathematical-statistics random-variable cdf statistical-significance variance expected-value ratio sample-size reliability tolerance-interval wilcoxon-signed-rank self-study variance sampling mean machine-learning svm libsvm self-study sampling ranks data-visualization histogram machine-learning classification normal-distribution mathematical-statistics maximum-likelihood mixture predictive-models prediction seasonality

3

Pourquoi le softmax hiérarchique est-il meilleur pour les mots peu fréquents, alors que l'échantillonnage négatif est meilleur pour les mots fréquents?

Je me demande pourquoi le softmax hiérarchique est meilleur pour les mots peu fréquents, alors que l'échantillonnage négatif est meilleur pour les mots fréquents, dans les modèles CBOW et skip-gram de word2vec. J'ai lu la réclamation sur https://code.google.com/p/word2vec/ .

12 natural-language word2vec word-embeddings softmax

2

Différentes définitions de la fonction de perte d'entropie croisée

J'ai commencé à en apprendre davantage sur les réseaux de neurones avec le didacticiel neuromnetworksanddeeplearning dot com. En particulier dans le 3ème chapitre, il y a une section sur la fonction d'entropie croisée, et définit la perte d'entropie croisée comme: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) …

12 neural-networks loss-functions softmax cross-entropy

2

Quelle est la profondeur du lien entre la fonction softmax en ML et la distribution de Boltzmann en thermodynamique?

La fonction softmax, couramment utilisée dans les réseaux de neurones pour convertir des nombres réels en probabilités, est la même fonction que la distribution de Boltzmann, la distribution de probabilité sur les énergies pour un ensemble de particules en équilibre thermique à une température donnée T en thermodynamique. Je peux …

12 machine-learning neural-networks softmax

3

Non-linéarité avant la couche Softmax finale dans un réseau neuronal convolutionnel

J'étudie et j'essaie de mettre en œuvre des réseaux de neurones convolutionnels, mais je suppose que cette question s'applique aux perceptrons multicouches en général. Les neurones de sortie de mon réseau représentent l'activation de chaque classe: le neurone le plus actif correspond à la classe prédite pour une entrée donnée. …

12 neural-networks deep-learning conv-neural-network nonlinear softmax

1

Débordement Softmax [fermé]

Fermé. Cette question est hors sujet . Il n'accepte pas actuellement de réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 2 ans . En attendant le prochain cours d'Andrew Ng sur Coursera, j'essaie de …

11 softmax numerics

2

Pourquoi le softmax est-il utilisé pour représenter une distribution de probabilité?

Dans la littérature sur l'apprentissage automatique, pour représenter une distribution de probabilité, la fonction softmax est souvent utilisée. Y a-t-il une raison à cela? Pourquoi aucune autre fonction n'est-elle utilisée?

10 machine-learning distributions softmax

3

Comment appliquer Softmax comme fonction d'activation dans Perceptron multicouche dans Scikit-Learn? [fermé]

Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Vous souhaitez améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 11 mois . Je dois appliquer la fonction d'activation Softmax au Perceptron multicouche …

9 neural-networks scikit-learn multi-class softmax

2

Perte logistique multinomiale vs (entropie croisée vs erreur carrée)

J'ai observé que Caffe (un cadre d'apprentissage en profondeur) a utilisé la couche de perte Softmax SoftmaxWithLoss comme couche de sortie pour la plupart des échantillons de modèle . Pour autant que je sache, la couche de perte Softmax est la combinaison de la couche de perte logistique multinomiale et …

9 multinomial entropy sums-of-squares softmax

Questions marquées «softmax»