Résolution des moindres écarts absolus à l'aide de l'algorithme de Barrodale-Roberts: terminaison prématurée?

Veuillez excuser la longue question, il a juste besoin de quelques explications pour s'attaquer au problème réel. Ceux qui connaissent les algorithmes mentionnés pourraient probablement passer directement au premier tablau simplex.

Pour résoudre les problèmes de moindre déviation absolue (aka -optimisation), l'algorithme de Barrodale-Roberts est une méthode simplex à usage spécial qui nécessite beaucoup moins de stockage et d'efforts de calcul pour trouver un minimum approprié. $L_1$

Mon implémentation de l'algorithme se termine sur un exemple simple avant qu'un minimum approprié soit atteint. Cependant, permettez-moi de dire le problème d'une manière plus élaborée d'abord:

Étant donné les données , l' optimisation tente de trouver qui minimise $(x_i,y_i)$ $L_1$ $c\in m$ où est unematrice qui dépend en quelque sorte de . Ce problème peut être défini comme un programme linéaire et donc, entre autres, être résolu en utilisant des méthodes de type simplex.

\sum_{je = 1}^{n} | y_{je} - F (X_{je}) | avec F (X) : = {UNE}_{X} \cdot ϕ

$\sum_{i=1}^n |y_i-f(x_i)| \quad\text{with}\quad f(x):=A_x\cdot \phi$

A_{x}

$A_x$

n \times m

$n\times m$

x

$x$

$L_1$ $\mathop{rank}(A)$

Lei et Anderson en 2002 ont proposé une petite modification qui est censée augmenter la stabilité numérique et donc surmonter les problèmes connus avec l'algorithme simplex.

Fondamentalement, cet algorithme suppose que vous commencez avec un ensemble donné de points qui doivent être interpolés, utilisez les procédures données pour construire un tableau simplex, puis utilisez les règles de Barrodale et Roberts pour décider sur quelles variables de base changer et donc modifier le ensemble de points de données qui est approximé.

$\{(1,1), (2,1), (3,2), (4,3), (5,2)\}$ $a_1+a_2x$

\begin{array}{llll} Base & R & u_{1} & u_{3} \\ b_{1} & 1 / 2 & 3 / 2 & - 1 / 2 \\ v_{2} & 1 / 2 & 1 / 2 & 1 / 2 \\ b_{2} & 1 / 2 & - 1 / 2 & 1 / 2 \\ u_{4} & 1 / 2 & 1 / 2 & - 3 / 2 \\ v_{5} & 1 & - 1 & 2 \\ Coût marginal & 2 & - 1 & 0 \end{array}

$\begin{array}{l|l|ll} \hline \text{Basis}&R& u_1 & u_3\\ \hline b_1 & 1/2 & 3/2 & -1/2 \\ v_2 & 1/2 & 1/2 & 1/2 \\ b_2 & 1/2 & -1/2 & 1/2 \\ u_4 & 1/2 & 1/2 & -3/2 \\ v_5 & 1 & -1 & 2 \\ \hline \text{Marginal cost} &2 & -1 & 0\\ \hline \end{array}$

$2$

Étant donné que tous les vecteurs non basiques ont un coût marginal non positif [...]

l'itération est terminée et et optimale est atteinte.

$\{2, 5\}$

\begin{array}{llll} Base & R & u_{2} & u_{5} \\ u_{1} & 1 / 3 & - 4 / 3 & 1 / 3 \\ b_{1} & 1 / 3 & 5 / 3 & - 2 / 3 \\ u_{3} & 2 / 3 & - 2 / 3 & - 1 / 3 \\ u_{4} & 4 / 3 & - 1 / 3 & - 2 / 3 \\ b_{2} & 1 / 3 & - 1 / 3 & 1 / 3 \\ Coût marginal & 7 / 3 & - dix / 3 & - 5 / 3 \end{array}

$\begin{array}{l|l|ll} \hline \text{Basis}&R& u_2 & u_5\\ \hline u_1 & 1/3 & -4/3 & 1/3 \\ b_1 & 1/3 & 5/3 & -2/3 \\ u_3 & 2/3 & -2/3 & -1/3 \\ u_4 & 4/3 & -1/3 & -2/3 \\ b_2 & 1/3 & -1/3 & 1/3 \\ \hline \text{Marginal cost} &7/3 & -10/3 & -5/3\\ \hline \end{array}$

$u_2$ $u_1$

Informations supplémentaires: Si je commence par le tableau initial donné par Barrodale et Roberts, je suis également en mesure de reproduire le tableau ci-dessus par étapes simplex ordinaires, donc je suis assez confiant que les valeurs numériques réelles sont correctes et mon interprétation de la règle de sélection du pivot est défaillant.

Des réflexions à ce sujet?

Je me rends compte que la question elle-même est assez compliquée et nécessite probablement une connaissance suffisante d'au moins l'algorithme de Barrodale et Roberts. L'algorithme dans son ensemble est trop long pour le répéter ici en détail. Cependant, si vous avez des questions supplémentaires sur les mesures que j'ai prises ou sur des informations manquantes, n'hésitez pas à demander et je serai ravi de compléter la question.

optimization linear-programming

— Thilo
source

Si quelqu'un avec une réputation suffisante pouvait créer une étiquette dans le sens des "écarts les moins absolus" ou "approximation L1", je serais reconnaissant.

— Thilo

La condition d'optimalité est que la solution de base doit être faisable (en ce qui concerne ses contraintes de non négativité) et que les coûts réduits doivent être inférieurs ou égaux à 0. Si votre solution de base est irréalisable, alors tous les paris sont désactivés.

— Brian Borchers

La solution de base est réalisable par construction. Il ne devrait donc pas y avoir de problème. J'ai cependant une première idée de l'endroit où le problème peut être. J'ajouterai une réponse correspondante si j'ai raison.

— Thilo

Résolu. En fait, Barrodale et Roberts l'ont résolu et je n'ai tout simplement pas lu attentivement.

$u_i$ $i$ $u_i=0$ $v_i$

$b_j$ $c_j$ $u_i$ $v_i$

Ainsi, mon tableau simplex ci-dessus doit être pensé comme suit:

\begin{array}{llllll} Base & R & u_{2} & u_{5} & v_{2} & v_{5} \\ u_{1} & 1 / 3 & - 4 / 3 & 1 / 3 & 4 / 3 & - 1 / 3 \\ b_{1} & 1 / 3 & 5 / 3 & - 2 / 3 & - 5 / 3 & 2 / 3 \\ u_{3} & 2 / 3 & - 2 / 3 & - 1 / 3 & 2 / 3 & 1 / 3 \\ u_{4} & 4 / 3 & - 1 / 3 & - 2 / 3 & 1 / 3 & 2 / 3 \\ b_{2} & 1 / 3 & - 1 / 3 & 1 / 3 & - 1 / 3 & - 1 / 3 \\ Coût marginal & 7 / 3 & - dix / 3 & - 5 / 3 & 4 / 3 & - 1 / 3 \end{array}

$\begin{array}{l|l|ll| ll} \hline \text{Basis}&R& u_2 & u_5 & v_2 & v_5\\ \hline u_1 & 1/3 & -4/3 & 1/3 & 4/3 & -1/3 \\ b_1 & 1/3 & 5/3 & -2/3 & -5/3 & 2/3 \\ u_3 & 2/3 & -2/3 & -1/3 & 2/3 & 1/3 \\ u_4 & 4/3 & -1/3 & -2/3 & 1/3 & 2/3 \\ b_2 & 1/3 & -1/3 & 1/3 & -1/3 & -1/3 \\ \hline \text{Marginal cost} &7/3 & -10/3 & -5/3 & 4/3 & -1/3\\ \hline \end{array}$

$v_2$

Merci d'avoir lu et de m'avoir donné un endroit pour écrire mon problème, ce qui aide généralement à réduire considérablement la solution. Espérons que cette réponse puisse parfois être utile à quiconque essaie de mettre en œuvre Barrodale & Roberts.

— Thilo
source