Progiciel pour résoudre la régression linéaire de la norme L-infini

Existe-t-il un progiciel pour résoudre la régression linéaire dans le but de minimiser la norme L-infini.

Réponse courte : Votre problème peut être formulé comme un programme linéaire (LP), vous laissant choisir votre solveur LP préféré pour la tâche. Pour voir comment écrire le problème en tant que LP, lisez la suite.

Ce problème de minimisation est souvent appelé approximation de Chebyshev .

Soit , avec la ligne indiquée par et . Ensuite, nous cherchons à minimiser la fonction par rapport à . Désignons la valeur optimale par X ∈ R n × p i x i β ∈ R p f ( β ) = ‖ y - X β ‖ ∞ β f ⋆ = f ( β ⋆ ) = inf { f ( β ) : β ∈ R p$\newcommand{\y}{\mathbf{y}}\newcommand{\X}{\mathbf{X}}\newcommand{\x}{\mathbf{x}}\newcommand{\b}{\mathbf{\beta}}\newcommand{\reals}{\mathbb{R}}\newcommand{\ones}{\mathbf{1}_n} \y = (y_i) \in \reals^n$$\X \in \reals^{n \times p}$$i$$\x_i$$\b \in \reals^p$$f(\b) = \|\y - \X \b\|_\infty$$\b$

$$f^\star = f(\b^\star) = \inf \{f(\b): \b \in \reals^p \} \>.$$

La clé de la refonte en LP est de réécrire le problème sous forme d'épigraphe . Il n'est pas difficile de se convaincre que, en fait,

$$f^\star = \inf\{t: f(\b) \leq t, \;t \in \reals, \;\b \in \reals^p \} \> .$$

Maintenant, en utilisant la définition de la fonction , nous pouvons réécrire le côté droit ci-dessus comme et nous voyons donc que la minimisation de la dans un paramètre de régression équivaut à la LP où l'optimisation est effectuée sur , et désigne un vecteur de ceux de longueur . Je laisse comme un exercice (facile) pour le lecteur de refondre le LP ci-dessus sous forme standard.f ⋆ = inf { t : - t ≤ y i - x i β ≤ t $f$ℓ ∞ minimiser t soumis à y - X β ≤ t 1

$$f^\star = \inf\{t: -t \leq y_i - \x_i \b \leq t, \;t \in \reals, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$$ $\ell_\infty$ $$\begin{array}{ll} \text{minimize} & t \\ \text{subject to} & \y-\X \b \leq t\ones \\ & \y - \X \b \geq - t \ones \>, \\ \end{array}$$ $(\b, t)$$\ones$$n$

Relation avec la version (variation totale) de la régression linéaire$\ell_1$

Il est intéressant de noter que quelque chose de très similaire peut être fait avec la norme . Soit . Ensuite, des arguments similaires conduisent à conclure que sorte que le LP correspondant soit g ( β ) = ‖ y - X β ‖ 1 $\ell_1$$g(\b) = \|\y - \X \b \|_1$minimiser t T 1 n sous réserve de y - X β ≤

$$\newcommand{\t}{\mathbf{t}} g^\star = \inf\{\t^T \ones : -t_i \leq y_i - \x_i \b \leq t_i, \;\t = (t_i) \in \reals^n, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$$ $$\begin{array}{ll} \text{minimize} & \t^T \ones \\ \text{subject to} & \y-\X \b \leq \t \\ & \y - \X \b \geq - \t \>. \\ \end{array}$$

Notez ici que est maintenant un vecteur de longueur au lieu d'un scalaire, comme c'était le cas dans . n ℓ $\t$$n$$\ell_\infty$

La similitude de ces deux problèmes et le fait qu'ils peuvent tous deux être castés en LP n'est bien sûr pas un hasard. Les deux normes sont liées en ce qu'elles sont les deux normes l'une de l'autre.

Malab peut le faire en utilisant cvx. pour obtenir cvx (gratuit):

http://cvxr.com/cvx/download/

En cvx, vous l'écririez de cette façon:

cvx_begin
   variable x(n);
   minimize( norm(A*x-b,Inf) );
cvx_end

(voir l'exemple page 12 du manuel )

Il existe une implémentation Python de CVX ( ici ) mais les commandes sont légèrement différentes ...

La réponse de @ cardinal est bien énoncée et a été acceptée, mais, pour fermer complètement ce fil, je proposerai ce qui suit: Les bibliothèques numériques IMSL contiennent une routine pour effectuer une régression de norme L-infini. La routine est disponible en Fortran, C, Java, C # et Python. J'ai utilisé les versions C et Python pour lesquelles la méthode est appelée lnorm_regression, qui prend également en charge la régression L_p générale , . p > = $L_p$$p >= 1$

Notez que ce sont des bibliothèques commerciales mais les versions Python sont gratuites (comme dans la bière) pour une utilisation non commerciale.