Estimation pas à pas de la position de la caméra pour le suivi visuel et les marqueurs planaires

Je travaille sur le sujet de estimation de la pose caméra pour les applications de réalité augmentée et de suivi visuel depuis un certain temps et je pense que bien qu'il y ait beaucoup d'informations détaillées sur la tâche, il y a encore beaucoup de confusions et de malentendus.

Je pense que les questions suivantes méritent une réponse détaillée étape par étape.

Que sont les intrinsèques de la caméra?
Que sont les extrinsèques de caméra?
Comment calculer l'homographie à partir d'un marqueur planaire?
Si j'ai une homographie, comment puis-je faire poser la caméra?

— Jav_Rock
source

Je suis flou sur la renormalisation que vous faites: 1. H est l'homographie trouvée à partir des données en utilisant une procédure (disons SVD). 2. inv (K) * H = A est la chose avec laquelle vous travaillez ici. Ensuite, vous faites q1 = a1 / norm (a1) et q2 = a2 / norm (a2) comme colonnes orthonormales d'une matrice de rotation, et vous faites q3 = q1xq2 ... Ensuite, vous prenez t / (quelque chose) pour obtenir le vecteur de traduction. Comment pouvez-vous simplement diviser q1 et q2 par des choses éventuellement différentes, et comment choisissez-vous par quoi t diviser? Ou est l'idée que la procédure SVD et la multiplication par inv (K) donnent quelque chose de proche mais pas tout à fait une matrice de rotation orthogonale / orthonormale, donc th

— user2600616

Mais comment pourrais-je obtenir un point 3D (X, Y, 1)?

— waschbaer

Réponses:

Il est important de comprendre que le seul problème ici est d'obtenir les paramètres extrinsèques. Les caractéristiques intrinsèques des caméras peuvent être mesurées hors ligne et il existe de nombreuses applications à cet effet.

Que sont les intrinsèques de la caméra?

Paramètres intrinsèques de l' appareil photo est généralement appelé la matrice d'étalonnage de la caméra, . Nous pouvons écrire $K$

K = [\begin{matrix} α_{u} & s & u_{0} \\ 0 & α_{v} & v_{0} \\ 0 & 0 & 1 \end{matrix}]

$K = \begin{bmatrix}\alpha_u&s&u_0\\0&\alpha_v&v_0\\0&0&1\end{bmatrix}$

où

et sont le facteur d'échelle dans lesdirections des coordonnées et et sont proportionnels à la distance focale de la caméra: et . et sont le nombre de pixels par unité de distance dans lesdirections et . $\alpha_u$ $\alpha_v$ $u$ $v$ $f$ $\alpha_u = k_u f$ $\alpha_v = k_v f$ $k_u$ $k_v$ $u$ $v$
est appelé le point principal, généralement les coordonnées du centre de l'image. $c=[u_0,v_0]^T$
est le biais, seulement non nul si et sont pas perpendiculaires. $s$ $u$ $v$

Une caméra est calibrée lorsque les caractéristiques intrinsèques sont connues. Cela peut être fait facilement, de sorte qu'il ne s'agit pas d'un objectif en vision par ordinateur, mais d'une étape triviale hors ligne.

Quelques liens:

ftp://svr-ftp.eng.cam.ac.uk/pub/reports/mendonca_self-calibration.pdf

Que sont les extrinsèques de caméra?

Extrinsèque de la caméra ou paramètres externes est une matrice qui correspond à la transformation euclidienne d'un système de coordonnées universelles au système de coordonnées de la caméra. représente une matrice de rotation et $[R|t]$ $3\times4$ $R$ $3\times3$ $t$ une translation.

Les applications de vision par ordinateur se concentrent sur l'estimation de cette matrice.

[R | t] = [\begin{matrix} R_{11} & R_{12} & R_{13} & T_{x} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \end{matrix}]

$[R|t] = \begin{bmatrix} R_{11}&R_{12}&R_{13}&T_x\\R_{21}&R_{22}&R_{23}&T_y\\R_{31}&R_{32}&R_{33}&T_z \end{bmatrix}$

Comment calculer l'homographie à partir d'un marqueur planaire?

L'homographie est une matrice homogène qui relie un plan 3D et sa projection d'image. Si nous avons un plan l'homographie qui mappe un point sur ce plan et son point 2D correspondant sous la projection est $3\times3$ $Z=0$ $H$ $M=(X,Y,0)^T$ $m$ $P=K[R|t]$

\tilde{m} = K [\begin{matrix} R^{1} & R^{2} & R^{3} & t \end{matrix}] [\begin{matrix} X \\ Y \\ 0 \\ 1 \end{matrix}]

$\tilde m = K \begin{bmatrix} R^1 & R^2 & R^3 & t \end{bmatrix} \begin{bmatrix} X \\ Y \\ 0 \\ 1 \end{bmatrix}$

= K [\begin{matrix} R^{1} & R^{2} & t \end{matrix}] [\begin{matrix} X \\ Y \\ 1 \end{matrix}]

$= K \begin{bmatrix}R^1&R^2&t\end{bmatrix} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix}$

H = K [\begin{matrix} R^{1} & R^{2} & t \end{matrix}]

$H = K \begin{bmatrix}R^1 & R^2 & t \end{bmatrix}$

Pour calculer l'homographie, nous avons besoin de paires de points caméra du monde. Si nous avons un marqueur planaire, nous pouvons en traiter une image pour extraire des entités, puis détecter ces entités dans la scène pour obtenir des correspondances.

Nous avons juste besoin de 4 paires pour calculer l'homographie en utilisant la transformation linéaire directe.

Si j'ai une homographie, comment puis-je faire poser la caméra?

$H$ $K[R|t]$ $H^1$ $H^2$ $R^1$ $R^2$ $R^3$ $[R|t]$

R^{3} = R^{1} \otimes R^{2}

$R^3 = R^1 \otimes R^2$

$[R|t]$

— Jav_Rock
source

Je pense qu'il est trompeur de dire que l'étalonnage est "facile et non le but du CV". Dans le cas habituel, nous devons également estimer les paramètres de distorsion. Au lieu de l'auto-étalonnage, je recommanderais l'étalonnage planaire (Zhang - Une nouvelle technique flexible pour l'étalonnage de la caméra) car il est plus flexible si une procédure d'étalonnage séparée peut être effectuée. Vous avez également une petite erreur dans "Si j'ai une homographie, comment puis-je faire poser la caméra?" car vous ne prenez pas en compte l'étalonnage (H_ {calib} = K ^ -1H).

— buq2

la pose de caméra de l'homographie est fausse. Il y a plusieurs façons de le faire «certains d'entre eux sont très simples.

— mirror2image

Je ne vois pas pourquoi c'est mal. Je le calcule de cette façon et fonctionne. Pourquoi dites-vous que c'est mal?

— Jav_Rock

Vous avez écrit dans la dernière section que H ^ 1 et R ^ 1 et égal, mais dans la troisième section, vous dites que H = K [RT] ce qui signifierait que R ^ 1 est en fait K ^ -1H ^ 1. Mais ce n'est pas strictement vrai car il existe un nombre infini de H qui satisfera les équations et causera des problèmes lors de la résolution de R ^ 1, R ^ 2 et T (l'échelle inconnue). Votre réponse ne tient pas compte de l'étalonnage intrinsèque et de la distorsion robuste et certaines équations sont erronées, raison pour laquelle ce n'est pas une bonne réponse à la question.

— buq2

Oui, il me manquait la matrice de kalibration à l'étape trois car je l'ai prise dans mon code et je multiplie par K dans une fonction différente des codes.

— Jav_Rock

Tout en expliquant très bien le cas bidimensionnel, la réponse proposée par Jav_Rock ne fournit pas de solution valable pour les poses de caméras dans un espace tridimensionnel. Notez que pour ce problème, plusieurs solutions possibles existent.

Cet article fournit des formules fermées pour décomposer l'homographie, mais les formules sont quelque peu complexes.

OpenCV 3 implémente déjà exactement cette décomposition ( decomposeHomographyMat ). Étant donné une homographie et une matrice intrinsèque correctement mise à l'échelle, la fonction fournit un ensemble de quatre rotations et traductions possibles.

Dans ce cas, la matrice intrinsèque doit être donnée en unités de pixels, ce qui signifie que votre point principal est généralement (imageWidth / 2, imageHeight / 2)et votre distance focale est généralement focalLengthInMM / sensorWidthInMM * imageHeight.

— Emiswelt
source

Qu'est-ce qu'une matrice intrinsèque correctement mise à l'échelle?

— Guig

J'ai mis à jour ma réponse. Veuillez voir ci-dessus.

— Emiswelt

Hé @Emiswelt, n'est-ce pas la distance focale focalLengthInMM / sensorWidthInMM * imageWidth? Pourquoi choisissez-vous plutôt la hauteur?

— El Marce