Explication de la fonction de perte Yolo

16

J'essaie de comprendre la fonction de perte de Yolo v2:

\begin{aligned} λ_{c o o r ré} \sum_{je = 0}^{S^{2}} \sum_{j = 0}^{B} 1_{je j}^{o b j} [(X_{je} - {\hat{X}}_{je})^{2} + (y_{je} - {\hat{y}}_{je})^{2}] \\ + λ_{c o o r ré} \sum_{je = 0}^{S^{2}} \sum_{j = 0}^{B} 1_{je j}^{o b j} [(\sqrt{w_{je}} - \sqrt{{\hat{w}}_{je}})^{2} + (\sqrt{h_{je}} - \sqrt{{\hat{h}}_{je}})^{2}] \\ + \sum_{je = 0}^{S^{2}} \sum_{j = 0}^{B} 1_{je j}^{o b j} (C_{je} - {\hat{C}}_{je})^{2} + λ_{n o o b j} \sum_{je = 0}^{S^{2}} \sum_{j = 0}^{B} 1_{je j}^{n o o b j} (C_{je} - {\hat{C}}_{je})^{2} \\ + \sum_{je = 0}^{S^{2}} 1_{je}^{o b j} \sum_{c \in c l une s s e s} (p_{je} (c) - {\hat{p}}_{je} (c))^{2} \end{aligned}

$\begin{align} &\lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(x_i-\hat{x}_i)^2 + (y_i-\hat{y}_i)^2 ] \\&+ \lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(\sqrt{w_i}-\sqrt{\hat{w}_i})^2 +(\sqrt{h_i}-\sqrt{\hat{h}_i})^2 ]\\ &+ \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}(C_i - \hat{C}_i)^2 + \lambda_{noobj}\sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{noobj}(C_i - \hat{C}_i)^2 \\ &+ \sum_{i=0}^{S^2} \mathbb{1}_{i}^{obj}\sum_{c \in classes}(p_i(c) - \hat{p}_i(c))^2 \\ \end{align}$

Si quelqu'un peut détailler la fonction.

— Kamel BOUYACOUB
source

5

personne ne peut vous aider sans contexte ... au moins dites-nous de quel papier il s'agit.

— bdeonovic

1

«Je ne comprends pas» et «détailler la fonction» sont trop larges. Veuillez essayer d'identifier des questions particulières. Notez qu'il existe déjà de nombreuses questions relatives à Yolo , dont certaines peuvent vous fournir au moins une partie de ce que vous cherchez

— Glen_b -Reinstate Monica

1

J'ajouterais ma réponse si vous montriez

— Aksakal

1

Dans ce blog , il y a une explication graphique détaillée de yolo et yolov2. Cela répond à la question concernant la fonction de perte. Si c'est très utile pour les débutants et les utilisateurs plus avancés.

— MBoaretto

18

Explication des différents termes:

Les constantes 3 sont que des constantes pour prendre en compte plus d'un aspect de la fonction de perte. Dans l'article est le plus élevé afin d'avoir le plus d'importance au premier terme $\lambda$ $\lambda_{coord}$
La prédiction de YOLO est un vecteur : prédictions bbox pour chaque cellule de grille et prédiction de classe pour chaque cellule de grille (où est le nombre de classes). Les 5 sorties bbox de la case j de la cellule i sont les coordonnées du centre tte de la bbox , la hauteur , la largeur et un indice de confiance $S*S*(B*5+C)$ $B$ $C$ $C$ $x_{ij}$ $y_{ij}$ $h_{ij}$ $w_{ij}$ $C_{ij}$
J'imagine que les valeurs avec un chapeau sont les vraies lues sur l'étiquette et celles sans chapeau sont celles prédites. Quelle est donc la valeur réelle de l'étiquette pour le score de confiance pour chaque bbox ? Il s'agit de l'intersection sur l'union de la boîte englobante prédite avec celle de l'étiquette. $\hat{C}_{ij}$
$\mathbb{1}_{i}^{obj}$ vaut lorsqu'il y a un objet dans la cellule et ailleurs $1$ $i$ $0$
$\mathbb{1}_{ij}^{obj}$ "indique que le ème prédicteur de la boîte englobante dans la cellule est responsable de cette prédiction". En d'autres termes, il est égal à s'il y a un objet dans la cellule et la confiance des èmes prédicteurs de cette cellule est la plus élevée parmi tous les prédicteurs de cette cellule. est presque le même sauf qu'il vaut 1 lorsqu'il n'y a AUCUN objet dans la cellule $j$ $i$ $1$ $i$ $j$ $\mathbb{1}_{ij}^{noobj}$ $i$

Notez que j'ai utilisé deux index et pour chaque prédiction bbox, ce n'est pas le cas dans l'article car il y a toujours un facteur ou donc il n'y a pas d'interprétation ambiguë: le choisi est celui correspondant au score de confiance le plus élevé dans cette cellule. $i$ $j$ $\mathbb{1}_{ij}^{obj}$ $\mathbb{1}_{ij}^{noobj}$ $j$

Explication plus générale de chaque terme de la somme:

ce terme pénalise la mauvaise localisation du centre des cellules
ce terme pénalise la boîte englobante avec une hauteur et une largeur imprécises. La racine carrée est présente de sorte que les erreurs dans les petites boîtes englobantes sont plus pénalisantes que les erreurs dans les grandes boîtes englobantes.
ce terme essaie de rendre le score de confiance égal à l'IOU entre l'objet et la prédiction quand il y a un objet
Tente de rendre le score de confiance proche de lorsqu'il n'y a aucun objet dans la cellule $0$
Il s'agit d'une simple perte de classification (non expliquée dans l'article)

— user7573566
source

1

Le deuxième point est-il censé être B*(5+C)? C'est du moins le cas pour YOLO v3.

— sachinruk

@sachinruk, cela reflète les changements de modèle entre le YOLO d'origine et ses versions 2 et 3.

— David Refaeli

12

\begin{aligned} λ_{c o o r d} \sum_{i = 0}^{S^{2}} \sum_{j = 0}^{B} 1_{je j}^{o b j} [(X_{je} - {\hat{X}}_{je})^{2} + (y_{je} - {\hat{y}}_{je})^{2}] \\ + λ_{c o o r ré} \sum_{je = 0}^{S^{2}} \sum_{j = 0}^{B} 1_{je j}^{o b j} [(\sqrt{w_{je}} - \sqrt{{\hat{w}}_{je}})^{2} + (\sqrt{h_{je}} - \sqrt{{\hat{h}}_{je}})^{2}] \\ + \sum_{je = 0}^{S^{2}} \sum_{j = 0}^{B} 1_{je j}^{o b j} (C_{je} - {\hat{C}}_{je})^{2} + λ_{n o o b j} \sum_{je = 0}^{S^{2}} \sum_{j = 0}^{B} 1_{je j}^{n o o b j} (C_{je} - {\hat{C}}_{je})^{2} \\ + \sum_{je = 0}^{S^{2}} 1_{je}^{o b j} \sum_{c \in c l une s s e s} (p_{je} (c) - {\hat{p}}_{je} (c))^{2} \end{aligned}

$\begin{align} &\lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(x_i-\hat{x}_i)^2 + (y_i-\hat{y}_i)^2 ] \\&+ \lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(\sqrt{w_i}-\sqrt{\hat{w}_i})^2 +(\sqrt{h_i}-\sqrt{\hat{h}_i})^2 ]\\ &+ \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}(C_i - \hat{C}_i)^2 + \lambda_{noobj}\sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{noobj}(C_i - \hat{C}_i)^2 \\ &+ \sum_{i=0}^{S^2} \mathbb{1}_{i}^{obj}\sum_{c \in classes}(p_i(c) - \hat{p}_i(c))^2 \\ \end{align}$

La fonction de perte YOLOv2 ne fait-elle pas peur? Ce n'est pas vraiment! C'est l'une des fonctions de perte les plus audacieuses et les plus intelligentes du marché.

Voyons d'abord ce que le réseau prédit réellement.

Si nous récapitulons, YOLOv2 prédit des détections sur une carte d'entités 13x13, donc au total, nous avons 169 cartes / cellules.

Nous avons 5 boîtes d'ancrage. Pour chaque boîte d'ancrage nous avons besoin objectness-confiance Score (si un objet a été trouvé?), 4 coordonnées ( $t_x, t_y, t_w,$ et $t_h$ ) pour la zone d'ancrage, et 20 classes de haut. Cela peut être grossièrement considéré comme 20 coordonnées, 5 scores de confiance et 100 probabilités de classe pour les 5 prédictions de la boîte d'ancrage réunies.

Nous avons peu de choses à craindre:

$x_i, y_i$ , qui est l'emplacement du centre de gravité de la boîte d'ancrage
$w_i, h_i$ , qui est la largeur et la hauteur de la boîte d'ancrage
$C_i$ , qui est l'Objectivité, c'est-à-dire le score de confiance de l'existence ou non d'un objet, et
$p_i(c)$ , qui est la perte de classification.
Nous devons non seulement former le réseau pour détecter un objet s'il y a un objet dans une cellule, nous devons également punir le réseau, il prédit un objet dans une cellule, quand il n'y en avait pas. Comment faisons-nous cela? Nous utilisons un masque ( $𝟙_{i}^{obj}$ et $𝟙_{i}^{noobj}$ ) pour chaque cellule. Si à l'origine il y avait un objet $𝟙_{i}^{obj}$ est 1 et les autres cellules sans objet sont 0. $𝟙_{i}^{noobj}$ est juste inverse de $𝟙_{i}^{obj}$ , où il est 1 s'il n'y avait pas d' objet dans la cellule et 0 s'il y en avait.
Nous devons le faire pour les 169 cellules, et
Nous devons le faire 5 fois (pour chaque boîte d'ancrage).

Toutes les pertes sont des erreurs quadratiques moyennes , à l'exception de la perte de classification, qui utilise la fonction d' entropie croisée .

Maintenant, cassons le code dans l'image.

Nous devons calculer les pertes pour chaque boîte d'ancrage (5 au total)
- $\sum_{j=0}^B$ représente cette partie, où B = 4 (5 - 1, puisque l'indice commence à 0)
Nous devons le faire pour chacune des cellules 13x13 où S = 12 (puisque nous commençons l'index à partir de 0)
- $\sum_{i=0}^{S^2}$ représente cette partie.
$𝟙_{ij}^{obj}$ $i$
$𝟙_{ij}^{noobj}$ $i$
$𝟙_{i}^{obj}$
λs sont des constantes. λ est le plus élevé pour les coordonnées afin de se concentrer davantage sur la détection (rappelez-vous, dans YOLOv2, nous le formons d'abord pour la reconnaissance, puis pour la détection, pénaliser fortement pour la reconnaissance est une perte de temps, nous nous concentrons plutôt sur l'obtention des meilleures boîtes englobantes!)
$w_i, h_i$

var1 | var2 | (var1 - var2) ^ 2 | (sqrtvar1 - sqrtvar2) ^ 2

0,0300 | 0,020 | 9.99e-05 | 0,001

0,0330 | 0,022 | 0,00012 | 0,0011

0,0693 | 0,046 | 0,000533 | 0,00233

0,2148 | 0,143 | 0,00512 | 0,00723

0,3030 | 0,202 | 0,01 | 0,01

0,8808 | 0,587 | 0,0862 | 0,0296

4,4920 | 2,994 | 2.2421 | 0,1512

Pas si effrayant, non!

Lisez ICI pour plus de détails.

— RShravan
source

1

Faut-il que i et j dans \ sum commencent à 1 au lieu de 0?

— webbertiger

1

Oui, c'est correct webertiger, ont mis à jour la réponse en conséquence. Merci!

— RShravan

1_{i j}^{o b j}

$\mathbb{1}_{ij}^{obj}$

1

S^{2} - 1

$S^2 -1$

3

@RShravan, vous dites: "Toutes les pertes sont des erreurs quadratiques moyennes, sauf la perte de classification, qui utilise la fonction d'entropie croisée". Pourriez-vous expliquer? Dans cette équation, il ressemble également à MSE. Merci d'avance

— Julian

3

Votre fonction de perte concerne YOLO v1 et non YOLO v2. J'ai également été confondu avec la différence entre les deux fonctions de perte et il semble que beaucoup de gens le soient: https://groups.google.com/forum/#!topic/darknet/TJ4dN9R4iJk

Le papier YOLOv2 explique la différence d'architecture de YOLOv1 comme suit:

Nous supprimons les couches entièrement connectées de YOLO (v1) et utilisons des boîtes d'ancrage pour prédire les boîtes englobantes ... Lorsque nous passons aux boîtes d'ancrage, nous découplons également le mécanisme de prédiction de classe de l'emplacement spatial et prédisons plutôt la classe et l'objectivité pour chaque boîte d'ancrage.

$p_i(c)$ $i$ $c$ $j$

J'essaie de deviner la fonction de perte de YOLOv2 et d'en discuter ici: https://fairyonice.github.io/Part_4_Object_Detection_with_Yolo_using_VOC_2012_data_loss.html

— FairyOnIce
source

1

Voici ma note d'étude

Fonction de perte: erreur somme au carré

$λ_{c o o r ré} = 5$ $\lambda_{coord} = 5$ $\lambda_{noobj}$
Un seul cadre de délimitation doit être responsable de chaque objet. Nous assignons un prédicteur pour être responsable de la prédiction d'un objet sur la base de laquelle la prédiction a le IOU courant le plus élevé avec la vérité au sol.

une. Perte à partir des coordonnées de la boîte liée (x, y) Notez que la perte provient d'une boîte englobante d'une cellule de la grille. Même si obj pas dans la cellule de la grille comme vérité fondamentale.

{\begin{cases} λ_{c o o r ré} \sum_{je = 0}^{S^{2}} [(X_{je} - {\hat{X}}_{je})^{2} + (y_{je} - \hat{y_{je}})^{2}] & boîte de délimitation responsable \\ 0 & autre \end{cases}

$\begin{cases} \lambda_{coord} \sum^{S^2}_{i=0} [(x_i - \hat{x}_i)^2 + (y_i - \hat{y_i})^2] &\text{responsible bounding box} \\ 0 &\text{ other} \\ \end {cases}$

b. Perte de largeur w et hauteur h. Notez que la perte provient d'une boîte englobante d'une cellule de grille, même si l'objet n'est pas dans la cellule de grille en tant que vérité fondamentale.

{\begin{cases} λ_{c o o r ré} \sum_{je = 0}^{S^{2}} [(\sqrt{w_{je}} - \sqrt{{\hat{w}}_{je}})^{2} + (\sqrt{h_{je}} - \sqrt{{\hat{h}}_{je}})^{2}] & boîte de délimitation responsable \\ 0 & autre \end{cases}

$\begin {cases} \lambda_{coord} \sum^{S^2}_{i=0} [(\sqrt{w_i} - \sqrt{\hat{w}_i})^2 + (\sqrt{h_i} - \sqrt{\hat{h}_i})^2] &\text{responsible bounding box} \\ 0 &\text{ other} \\ \end {cases}$

c. Perte de confiance dans chaque case reliée. Non pas que la perte provienne d'une boîte englobante d'une cellule de grille, même si l'objet n'est pas dans la cellule de grille comme vérité de fond.

{\begin{cases} \sum_{je = 0}^{S^{2}} (C_{je} - {\hat{C}}_{je})^{2} & obj dans la cellule de la grille et la zone de délimitation responsable \\ λ_{n o o b j} \sum_{je = 0}^{S^{2}} (C_{je} - {\hat{C}}_{je})^{2} & obj pas dans la cellule de la grille et la zone de délimitation responsable \\ 0 & autre \end{cases}

$\begin {cases} \sum^{S^2}_{i=0}(C_i - \hat{C}_i)^2 &\text{obj in grid cell and responsible bounding box} \\ \lambda_{noobj} \sum^{S^2}_{i=0}(C_i - \hat{C}_i)^2 &\text{obj not in grid cell and responsible bounding box} \\ 0 &\text{other} \end {cases}$

{\begin{cases} \sum_{je = 0}^{S^{2}} \sum_{c \in c l une s s e s} (p_{je} (c) - {\hat{p}}_{je} (c))^{2} & obj dans la cellule de la grille \\ 0 & autre \end{cases}

$\begin {cases} \sum^{S^2}_{i=0} \sum_{c \in classes} (p_i(c) - \hat{p}_i(c))^2 &\text{obj in grid cell}\\ 0 &\text{other} \\ \end {cases}$

La fonction de perte ne pénalise la classification que si obj est présent dans la cellule de la grille. Cela pénalise également les coordonnées de la boîte englobante si cette boîte est responsable de la boîte au sol (IOU le plus élevé)

— roy
source

Question sur «C», dans l'article, la confiance est la valeur d'objet ou pas d'objet produite multipliée par l'IOU; est-ce juste pour le temps de test ou est-ce aussi utilisé pour la fonction de coût de formation? Je pensais que nous soustrayions simplement la valeur C de la sortie et de l'étiquette (comme nous l'avons fait avec les valeurs de la grille), mais c'est incorrect?

— moondra

0

La formule de perte que vous avez écrite correspond à la perte de papier YOLO d'origine , pas à la perte v2 ou v3.

Il existe des différences majeures entre les versions. Je suggère de lire les articles ou de vérifier les implémentations du code. Papiers: v2 , v3 .

Quelques différences majeures que j'ai remarquées:

La probabilité de classe est calculée par boîte englobante (d'où la sortie est désormais S ∗ S ∗ B * (5 + C) au lieu de S S (B * 5 + C))
Les coordonnées de la boîte englobante ont désormais une représentation différente
En v3, ils utilisent 3 cases à travers 3 "échelles" différentes

Vous pouvez essayer d'entrer dans les moindres détails de la perte, soit en regardant l'implémentation python / keras v2 , v3 (recherchez la fonction yolo_loss), soit directement dans l'implémentation c v3 (recherchez delta_yolo_box et delta_yolo_class).

— David Refaeli
source