Contraintes impliquant dans un programme linéaire?

16

Supposer

\begin{aligned} min A & v e c (U) \\ subject to U_{i, j} \leq max {U_{i, k}, U_{k, j}}, i, j, k = 1, \dots, n \end{aligned}

$\begin{align*} \min A &\mathrm{vec}(U) \\ &\text{subject to } U_{i,j} \leq \max\{U_{i,k}, U_{k,j}\}, \quad i,j,k = 1, \ldots, n \end{align*}$

où $U$ est une matrice symétrique $n\times n$ , et $\mathrm{vec}(U)$ remodèle $U$ en un vecteur unidimensionnel avec $n^2$ entrées.

La partie du programme ci-dessus qui me pose des problèmes est le $\max\{⋅,⋅\}$ . (Restreindre les solutions aux matrices symétriques non négatives semble être simple.)

Merci d'avance pour toute aide ou référence!

optimization linear-programming

— N21
source

une raison pour laquelle vous ne pouvez pas ajouter les deux contraintes?

— Aron Ahmadia

1

@AronAhmadia: Il ne peut pas ajouter les deux contraintes car cela serait équivalent à

U_{i, j} \leq min {U_{i, k}, U_{k, j}}

$U_{i,j} \leq \min\{U_{i,k}, U_{k,j}\}$ pour tout

i, j, k

$i, j, k$ . Je ne pense pas qu'il existe une reformulation LP de ce problème, mais il pourrait y avoir une reformulation MILP, même si cela le rend probablement plus cher à résoudre.

— Geoff Oxberry

@ N21: Quelle est la taille que vous attendez

n

$n$ être pour les problèmes que vous voulez résoudre?

— Geoff Oxberry

@Geoff: Merci! J'espère finalement avoir un grand

n

$n$ , mais en ce moment, je suis le plus soucieux d'obtenir une solution préliminaire avec

n

$n$ inférieur à, disons 100, voire 10.

— N21

Merci d'avoir clarifié @GeoffOxberry, je n'y ai pas vraiment réfléchi avant de poster.

— Aron Ahmadia

14

Edit: Essayons à nouveau cette explication, cette fois quand je suis plus éveillé.

Il y a trois gros problèmes avec la formulation (par ordre de gravité):

Il n'y a pas de reformulation évidente du problème qui soit évidemment lisse, convexe ou linéaire.
C'est non lisse.
Ce n'est pas nécessairement convexe.

Pas de reformulation évidente lisse / convexe / linéaire

Tout d'abord, il n'y a pas de reformulation standard et évidente de chaque contrainte . La suggestion d'Aron s'applique à la contrainte la plus courante , dans laquelle une contrainte comme est remplacée par les deux inégalités équivalentes suivantes:La reformulation n'est pas idéale, chaque contrainte a été remplacée par contraintes linéaires, mais elle convertit un programme non linéaire non lisse en un programme linéaire, qui est des ordres de grandeur plus rapide à résoudre. $\max$ $\min$

U_{i j} \leq min_{k} {U_{i k}, U_{k j}}

$U_{ij} \leq \min_{k}\{U_{ik}, U_{kj}\}$

U_{i j} \leq U_{i k}, \forall k

$U_{ij} \leq U_{ik}, \quad \forall k$

U_{i j} \leq U_{k j}, \forall k .

$U_{ij} \leq U_{kj}, \quad \forall k.$

min

$\min$

2 n

$2n$

Wolfgang signale qu'il pourrait être possible (il n'inclut pas de preuve) de reformuler les contraintes afin qu'elles soient linéaires et lisses en ajoutant des variables lentes. Une variable slack doit être ajoutée pour chaque contrainte dans la formulation d'origine, ce qui signifie que nous ajoutons contraintes dans cette reformulation. De plus, chaque contrainte est remplacée par (ou plus) contraintes linéaires. Le vrai tueur est que la non-douceur est déplacée des contraintes vers l'objectif, de sorte que la formulation de Wolfgang donne toujours un programme non linéaire non lisse. $\max$ $\max$ $n^2$ $\max$ $2n$

Il n'y a pas de reformulation standard des contraintes dans un problème de minimisation que je connaisse, après avoir vérifié mon manuel de programmation linéaire et fait une recherche documentaire. Cela ne signifie pas qu'une telle reformulation n'existe pas; cela signifie simplement que je ne l'ai pas rencontré. Si je devais deviner, je dirais qu'il n'existe pas de formulation LP. $\max$

Non-douceur

Dans ce contexte, l'absence de douceur signifie qu'au moins une des fonctions de la formulation (l'objectif ou les contraintes) n'est pas deux fois différenciable en continu. Les fonctions non lisses de cette formulation sont les fonctions . $\max$

L'absence de douceur est un énorme problème car:

cela rend immédiatement votre problème non linéaire
la plupart des solveurs de programmation non linéaire assument des fonctions deux fois différenciables en continu

Étant donné que les fonctions ne sont même pas différenciables en continu, vous ne pouvez même pas utiliser sans difficulté les méthodes traditionnelles de descente de gradient. Les algorithmes de programmation non linéaires non lisses sont plus lents que leurs homologues lisses. $\max$

Non-convexité possible

Votre problème pourrait être non convexe, car sous "forme standard" pour les programmes non linéaires (c'est-à-dire, exprimer toutes les contraintes sous la forme ), les contraintes gênantes dans votre formulation sont $\mathbf{g}(\mathbf{x}) \leq \mathbf{0}$

U_{i j} - max_{k} {U_{i k}, U_{k j}} \leq 0, \forall i, j, k .

$U_{ij} - \max_{k}\{U_{ik}, U_{kj}\} \leq 0, \quad \forall i,j,k.$

Ces fonctions sont concaves.

Preuve: Dans ce cas, les fonctions et sont toutes deux convexes. La somme des fonctions convexes est convexe, et la multiplication d'une fonction convexe par -1 entraîne une fonction concave. (QED.) $-U_{ij}$ $\max_{k}\{U_{ik}, U_{kj}\}$

Comme le souligne Tim, ce n'est pas parce que n'est pas convexe que votre problème est réellement non convexe, mais si vous essayez de résoudre un problème d'optimisation à l'optimalité globale, vous ne pouvez garantir qu'un solveur d'optimisation convexe retourner un optimum global si votre problème est convexe. Si vous voulez vraiment un optimum global, il vous appartiendrait de déterminer si votre ensemble réalisable est convexe (ou non). En l'absence de telles informations, vous devez supposer que votre problème peut être non convexe et utiliser des algorithmes qui ne reposent pas sur des informations de convexité. Même alors, la non-douceur et l'absence d'une bonne reformulation sont des problèmes beaucoup plus importants. $\mathbf{g}$

Options pour résoudre le problème

Se contenter de trouver éventuellement une solution réalisable. Dans ce cas, faites ce qu'Aron a dit et remplacez par qui peuvent ensuite être ré-exprimés en deux inégalités distinctes en utilisant une reformulation LP standard. Le problème résultant sera une restriction LP du problème que vous souhaitez résoudre; il devrait résoudre rapidement par rapport à votre problème d'origine, et s'il a une solution, cette solution sera réalisable pour votre problème d'origine, et sa valeur de fonction objective sera une borne inférieure sur la valeur de fonction objective optimale de votre problème d'origine.
$U_{i j} \leq max_{k} {U_{i k}, U_{k j}}, \forall i, j, k$ $U_{ij} \leq \max_{k}\{U_{ik}, U_{kj}\} , \quad \forall i,j,k$ $U_{i j} \leq min_{k} {U_{i k}, U_{k j}}, \forall i, j, k,$ $U_{ij} \leq \min_{k}\{U_{ik}, U_{kj}\} , \quad \forall i,j,k,$
Tentez votre chance sur votre formulation avec un solveur de bundle pour les programmes non lisses. Je n'ai pas beaucoup d'expérience avec ces types de solveurs. (Un de mes collègues les utilise dans ses recherches.) Ils sont probablement lents, car ils ne peuvent pas utiliser d'informations dérivées. (Je pense qu'ils utilisent à la place les informations de dégradé généralisées du sous-gradué ou de Clarke.) Il est également peu probable que vous soyez en mesure de résoudre de grandes instances de problème avec un solveur de bundle.

— Geoff Oxberry
source

1

Geoff, bonnes choses; cela touche les points clés et offre de nombreuses idées et suggestions constructives. Je l'ai voté. Mais vous semblez considérer la non-convexité comme quelque chose de distinct du fait que, comme vous le dites, "il n'y a pas de reformulation standard des contraintes maximales dans un problème de minimisation que je connaisse". Mais en fait, le premier est précisément pourquoi le second n'est pas possible. Les contraintes non convexes ne peuvent pas être exprimées en programmation linéaire --- point final! Il s'agit d'un problème non convexe, et il devra soit être reformulé comme un problème à nombres entiers mixtes, soit appliquer une autre heuristique.

— Michael Grant

@ MichaelGrant: J'ai fait cet argument dans les révisions 1 et 2 il y a plus d'un an, puis je suis entré dans un long fil de commentaires sur mon affirmation que le problème n'est pas convexe. (Voir la réponse de Tim ci-dessous.) Si je me souviens bien, à l'époque, Tim a soutenu qu'une inégalité avec concave ne fait pas un ensemble réalisable non convexe. Je ne sais pas pourquoi, car par définition, un programme convexe doit pouvoir s'exprimer de telle sorte que pour convexe. J'étais fatigué de discuter avec Tim à ce sujet; Je devrais revenir sur certaines de mes modifications précédentes.

g (x) \leq 0

$\mathbf{g}(x) \leq \mathbf{0}$

g

$\mathbf{g}$

g (x) \leq 0

$\mathbf{g}(\mathbf{x}) \leq \mathbf{0}$

g

$\mathbf{g}$

— Geoff Oxberry

1

Il est vrai que les fonctions de contraintes non convexes peuvent décrire des ensembles convexes (en effet la notion de quasiconvexité couvre la plupart de ces cas). Mais le fait est que décrit un ensemble non convexe dans . L'affirmation de Tim n'a donc rien à voir avec ce problème particulier. Il est également concevable que l'intersection d'ensembles non convexes finisse par être convexe, mais c'est un événement peu probable.

x \leq max {y, z}

$x \le \max\{y,z\}$

(x, y, z)

$(x,y,z)$

— Michael Grant

1

Oui, vous pouvez prouver cette déclaration particulière car un tel ensemble est l'hypographie de , et l'ensemble défini par l'hypographie d'une fonction est convexe si la fonction est concave.

max {y, z}

$\max\{y,z\}$

— Geoff Oxberry

3

La solution à votre question est . $-\infty$

Soit Depuis et vos contraintes sont linéaires en , un multiple positif de satisfait aux contraintes. Par conséquent, .

U = (\begin{matrix} 1 & \dots & 1 \\ ⋮ & ⋮ \\ 1 & \dots & 1 \end{matrix}) .

$U=\left(\begin{matrix} 1&\cdots &1\\ \vdots & & \vdots\\1&\cdots&1\end{matrix}\right).$

A \cdot vec (U)

$A\cdot\mbox{vec}(U)$

U

$U$

t

$t$

\pm U

$\pm U$

min_{V} (A \cdot vec (V)) \leq m i n_{t} (A \cdot vec (t U)) = - \infty

$\min_V(A\cdot\mbox{vec}(V)) \le min_{t}(A\cdot \mbox{vec}(tU))=-\infty$

— Dernier soupir
source

Certainement une solution à la question posée. Je suppose que l'OP va poser une certaine contrainte de non négativité sur , auquel cas, la valeur optimale de la fonction objectif peut ne pas être .

U

$U$

- \infty

$-\infty$

— Geoff Oxberry

@GeoffOxberry: Vrai. Même avec des contraintes de positivité sur la réponse est . La forme telle que posée implique qu'il s'agit vraiment d'une question d'optimisation de matrice à la .

U

$U$

\leq 0

$\le 0$

2 tr ({\hat{A}}^{*} U) = ‖ \hat{A} - U ‖^{2} - ‖ \hat{A} ‖^{2} - ‖ U ‖^{2}

$2\mbox{tr}(\hat{A}^\ast U)=\|\hat{A}-U\|^2-\|\hat{A}\|^2-\|U\|^2$

— Deathbreath

2

Afin de formuler les contraintes , nous créons variables binaires , , . Soit la borne de la variable , il suffit alors d'ajouter les contraintes suivantes: $f \le \max \{ f_1, f_2,...,f_n \}$ $n$ $b_i \in \{0,1\}$ $1 \le i \le n$ $M$ $f$

1) $f \le f_i + (1-b_i) M, \forall i$

2) $\sum_i b_i = 1$

Normalement, posons si nous pouvons estimer la valeur de . $M := max_i f_i - min_i f_i$ $f_i$

— Kevin
source

1

Vous ne pouvez pas introduire une variable slack? Donc, pour reformuler la contrainte écrivez-la comme suit: Cela aura une solution irréalisable par rapport au problème d'origine si vous choisissez s = infini. Mais je suis presque sûr que vous pouvez montrer que si vous ajoutez un terme à la fonction objectif (c'est-à-dire que vous voulez avoir aussi petit que possible, de préférence zéro) et suffisamment grand, vous obtiendrez alors une solution réalisable si le problème d'origine avait des solutions réalisables avec une valeur objective inférieure à l'infini.

x_{i} <= max (a_{i 1}, a_{i 2}, . . ., a_{i n})

$x_i <= \max(a_{i1}, a_{i2}, ..., a_{in})$

x_{i} <= s_{i}

$x_i <= s_i$

s_{i} >= a_{i 1}

$s_i >= a_{i1}$

s_{i} >= a_{i 2}

$s_i >= a_{i2}$

. . .

$...$

s_{i} >= a_{i n}

$s_i >= a_{in}$

c * max (s_{i} - max (a_{i}), 0)

$c*\max(s_i-\max(a_i), 0)$

s_{i} - max (a_{i})

$s_i-\max(a_i)$

c

$c$

(Une preuve irait dans le sens de montrer que si et si , alors la solution est irréalisable; en d'autres termes, est une mesure d'infaisabilité par rapport à le problème d'origine. Si le problème est stable, il devrait y avoir une amélioration finie de la valeur de la fonction objectif pour une violation finie de la faisabilité. Si vous choisissez c plus grand que le rapport entre le changement de la valeur objective et la violation de la faisabilité, la modification la fonction objective se développerait pour les problèmes qui vont dans la région infaisable.) $s_i>=\max(a_i)$ $x_i=s_i$ $s_i-\max(a_i)$

— Wolfgang Bangerth
source

C'est une bonne idée. En supposant que votre preuve passe, le problème devient alors le déplacement de la non-linéarité et de la non-régularité des contraintes vers l'objectif, qui sont toujours des qualités indésirables dans une formulation.

— Geoff Oxberry

Je crains que cela ne fonctionne pas. Si les quantités sont des variables et non des constantes, alors votre contrainte d'origine n'est pas un ensemble convexe dans . Votre ensemble reformulé de contraintes, d'autre part, est un ensemble convexe dans . Les deux ensembles de contraintes ne peuvent pas être équivalents.

a_{i j}

$a_{ij}$

(x_{i}, a_{i 1}, a_{i 2}, . . ., a_{i n})

$(x_i,a_{i1},a_{i2},...,a_{in})$

(x_{i}, s_{i}, a_{i 1}, a_{i 2}, . . ., a_{i n})

$(x_i,s_i,a_{i1},a_{i2},...,a_{in})$

— Michael Grant

1

Je ne trouve pas le bouton de commentaire ...

Comme Geoff l'a souligné, il s'agit d'une fonction de contrainte concave. Cependant, peu importe si la fonction elle-même est concave ou non. Les fonctions concaves sous contraintes linéaires peuvent être des ensembles convexes (par exemple ). $log(x)<5$

S'il s'agit d'un ensemble convexe, vous pouvez effectuer une descente de gradient sur votre fonction objectif, en utilisant quelque chose comme Dykstra's_projection_algorithm pour projeter de nouveau sur l'espace des contraintes.

— Tim
source

A voté pour le commentaire sur les fonctions concaves; J'aurais dû penser davantage à mon explication. Projeter sur l'ensemble réalisable est une possibilité, bien que je ne sois pas sûr de savoir si vous pourriez appliquer ces algorithmes avec des contraintes non lisses.

— Geoff Oxberry

Je ne sais pas s'ils s'appliquent aux contraintes non lisses. Notez également que les problèmes non convexes ne sont NP-durs que s'ils ont un nombre NP de solutions possibles. Si le nombre de solutions possibles est en P, la force brute résout exactement une tâche d'optimisation non convexe. Enfin, la méthode ne peut pas être formée en LP, mais cela n'a rien à voir avec la nature concave de la contrainte. C'est parce que la contrainte est une fonction non linéaire qui crée également un espace de contrainte non linéaire (convexe ou non). Il existe de nombreuses contraintes convexes qui ne peuvent pas non plus être résolues à l'aide de LP. par exemple

x^{2} + y^{2} < 5

$x^2+y^2<5$

— Tim

"Les problèmes non convexes ne sont durs en NP que s'ils ont un nombre NP de solutions possibles." NP signifie "polynôme non déterministe". Je suis complètement perdu de ce dont tu parles. Deuxièmement, j'ai mentionné la concavité parce que les fonctions linéaires sont concaves et convexes; la fonction n'est pas convexe. Le fait que la fonction soit non lisse et linéaire par morceaux n'exclut pas immédiatement la possibilité d'une reformulation LP.

— Geoff Oxberry

Par exemple, est "non linéaire" et peut être reformulé comme une paire de contraintes linéaires, et admet donc une reformulation LP. Enfin, vous avez raison, il existe de nombreuses contraintes qui ne peuvent pas être reformulées en tant que contraintes linéaires, telles que les contraintes non linéaires lisses.

U_{i j} \leq min_{k} {U_{i k}, U_{k j}}

$U_{ij} \leq \min_{k}\{U_{ik}, U_{kj}\}$

— Geoff Oxberry

Désolé, j'ai dû raccourcir le commentaire, j'ai donc utilisé NP pour les non polynômes et P pour les polynômes. Le fait était que l'optimisation non convexe n'est pas toujours NP-difficile. Ce n'est dur que si le nombre de solutions possibles est pire que polynomial. Désolé pour la confusion :) Vous avez raison de reformuler comme linéaire. Vous sembliez dire "Par conséquent, il n'y a aucun moyen de reformuler votre programme en tant que programme linéaire", à cause de la non-convexité, je notais simplement que ce n'était pas lié à la convexité mais à la linéarité.

— Tim

0

Y a-t-il d'autres contraintes d'inégalité qui ne sont pas mentionnées? Comme indiqué, le problème est de minimiser une fonction linéaire sur un cône, de sorte que la valeur optimale est toujours soit ou . $-\infty$ $0$

Même avec la contrainte , le problème se réduit à un problème de décision discret. Considérez la fonction linéaire comme correspondant aux poids positifs / négatifs des bords du graphique complet sur sommets. S'il existe un graphe de diamètre 2 reliant tous les sommets à la somme de ses poids strictement négatifs, alors la valeur optimale est , sinon la valeur optimale est . $U \ge 0$ $A$ $n$ $-\infty$ $0$

Un rapide croquis sur la façon de le prouver. Notons tout d'abord que si , alors implique . Ainsi, les inégalités impliquent que pour chaque triple , exactement l'un des éléments suivants doit être vrai: $a \le b \le c$ $c \le \max(a,b)$ $b=c$ $i,j,k$

$U_{ij} < U_{jk} = U_{ik}$
$U_{ik} < U_{jk} = U_{ij}$
$U_{jk} < U_{ik} = U_{ij}$
$U_{ij} = U_{jk} = U_{ik}$

Donc, si vous fixez un seuil et formez un graphe avec une arête où , alors tous les 3 sommets doivent avoir exactement 0,2, ou 3 arêtes les reliant. Donc, si , alors pour chaque autre sommet , nous devons avoir soit ou . Donc si le graphe a des arêtes, il doit être de diamètre 2. $t$ $G(t)$ $U_{ij}=t$ $U_{ij}=U_{j k}=t$ $\ell$ $U_{j \ell}=t$ $U_{i\ell}=U_{k\ell}=t$ $G(t)$

— ps
source