J'essayais avec un problème de contrôle optimal apparemment simple qui génère un système d'équations différentielles. Lorsque je calcule les valeurs de l’état d’équilibre du système, j’obtiens des résultats très étranges. Je crois que j’ai commis une erreur en appliquant le principe maximum. Si vous êtes assez patient pour lire un texte, je vous serais reconnaissant d’écouter vos suggestions sur ce qui pourrait mal tourner.

Notation

J'utilise un indice chaque fois qu'une variable dépend du temps. Par exemple,$t$$A_t(x_1,x_2):=A(x_1,x_2,t)$

Installer

Imaginez une économie fermée avec une fonction de production linéaire. La quantité de biens produits dépend du niveau du capital humain et une dotation fixe ressource . Ainsi,$A_t$$R$

$Y_t := A_tR$

L'économie que nous imaginons a un environnement peu sûr et peut être attaquée au hasard avec une probabilité de (exogène). Chaque fois qu'un pays est attaqué, il perd une partie de ses revenus. Je note la part restante . La part des revenus protégés dépend du montant des dépenses militaires que le pays a augmenté du niveau de capital humain accumulé:$p$$q_t$

$q_t:=1-\frac{1}{\alpha A^m_t M_t}$

Je suppose que Ainsi, plus les dépenses militaires sont importantes, plus le revenu actuel est sûr. Notez que les dépenses militaires permettent de mieux protéger, tant que .m < $m \in [0,1]$$m<1$

Compte tenu de tout cela, supposons que l’économie produise 3 types de biens: les biens de consommation , les biens militaires et le capital humain . Supposons, pour simplifier, que est la seule variable qui s’accumule lorsque des biens de consommation et des biens militaires sont consommés instantanément à chaque instant. Si l’on s’accorde sur ce point, l’équation du mouvement du capital humain peut être exprimée par la moyenne pondérée des revenus du pays moins les dépenses de consommation, les dépenses militaires et la dépréciation du capital humain:M t A t A $C_t$$M_t$$A_t$$A_t$

$\dot{A}_t=\underbrace{pq_tY_t}_\text{Post-war income} + \underbrace{(1-p)Y_t}_\text{No-war income} - C_t - M_t - \delta A_t$

En supposant que toutes les variables appartiennent à la droite réelle positive, en plus , une fonction utilitaire concave et "attribuant" une certaine valeur initiale du capital humain on peut formuler le problème de contrôle optimal suivant: $A_t,M_t>0$$U'(C_t)>0, U''(C_t)<0$$A(t=0)=A_0$

$$\begin{equation} \max_{C_t, M_t}\int_0^\infty U(C_t)e^{-\rho t}dt \end{equation}$$

En mots: maximiser l'utilité sur l'horizon infini de la consommation de direction et militaire.

Tels que: Et la condition de transversalité:

$$\begin{equation} \dot{A}_t=p\left(1-\frac{1}{\alpha A^m_t M_t}\right)A_tR + (1-p)A_tR - C_t - M_t - \delta A_t \end{equation}$$ $$\begin{equation} \lim_{t->\infty} e^{-\rho t}\lambda_t A_t=0 \end{equation}$$

Hamiltonien et solution

L’hamiltonien de valeur actuelle se présente comme ( ): $\mu_t = \lambda_t e^{-\rho t}$

$$\begin{equation} H^c = U(C_t) + \mu_t\left(p\left(1-\frac{1}{\alpha A^m_t M_t}\right)A_tR + (1-p)A_tR - C_t - M_t - \delta A_t\right) \end{equation}$$

Chiang (1992) soutient que si l'hamiltonien est non linéaire dans les variables de contrôle et d'état, on déduit les conditions de premier ordre en prenant des dérivées de l'hamiltonien et en les fixant à zéro.

$$\begin{equation} \frac{\partial H^c}{\partial C_t}: U'(C_t)-\mu_t = 0 \end{equation}$$

$$\begin{equation} \frac{\partial H^c}{\partial C_t}: \mu_t\left(pA^{1-m}_tR\frac{1}{\alpha M^2_t}-1\right) = 0 \end{equation}$$

$$\begin{equation} \dot{\mu}_t = \rho \mu_t - \mu_t\left(pR\frac{m-1}{\alpha A^m_t M_t} + R - \delta\right) \end{equation}$$

Les expressions pour et forment un système d'équations différentielles. Mais interpréter \ dot {\ mu} _t est contre-intuitif. Au lieu de cela, on différencie généralement le FOC de consommation en fonction du temps et \ dot {\ mu} _t de l'équation du mouvement. Puisque , on peut se débarrasser de dans . Pourtant, le système sera composé de deux équations et trois variables , , .$\dot{\mu}_t$$\dot{A}_t$$U''(C)_t=\dot{\mu}_t$$U'(C_t) = \mu_t$$\mu_t$$\dot{C}_t$$\dot{C}_t, \dot{A}_t$$A_t$$C_t$$M_t$

$$\begin{equation} \begin{cases} \dot{C}_t = -\frac{U'(C_t)}{U''(C_t)}\left(pR\frac{m-1}{\alpha A^m_t M_t} + R - \delta -\rho\right) \\ \dot{A}_t = A_t R - A^{1-m}_t\frac{pR}{M_t} - C_t - M_t - \delta A_t \end{cases} \end{equation}$$

J'ai besoin d'un moyen d'exprimer en fonction d'autres variables ou paramètres. Ainsi, je prends le second FOC, le corrige à zéro ( l’option car ) et dérive en fonction de :$M_t$$\mu_t=0$$\mu_t=U'(C_t)>0$$M_t$$A_t$$M^*_t:=A^{\frac{1-m}{2}}_t\sqrt{\frac{pR}{\alpha}}$

J'impute dans le système ci-dessus, définit et calcule les expressions pour l'état stationnaire. En rejetant la solution triviale , les valeurs d'équilibre suivantes:$M^*_t$$\dot{C}_t=\dot{A}_t=0$$C_t = 0$

Capital humain

$$\begin{equation} \bar{A}_t = \left(\frac{pR}{\alpha}\frac{(1-m)^2}{(R - \delta -\rho)^2}\right)^{\frac{1}{1+m}} \end{equation}$$

Militaire

$$\begin{equation} \bar{M_t} = \left(\frac{pR}{\alpha}\frac{(1-m)^2}{(R - \delta -\rho)^2}\right)^{\frac{1-m}{2(1+m)}}\sqrt{\frac{p R}{\alpha}} \end{equation}$$

Consommation

$$\begin{multline} \bar{C_t} = \left(\frac{pR}{\alpha}\frac{(1-m)^2}{(R - \delta -\rho)^2}\right)^{\frac{1}{1+m}} (R - \delta) \\- \left(\frac{pR}{\alpha}\frac{(1-m)^2}{(R - \delta -\rho)^2}\right)^{\frac{1-m}{2(1+m)}} \sqrt{\alpha pR} \left(1 + \frac{1}{\alpha}\right) \end{multline}$$

L'expression pour la consommation semble maladroite. Il est en effet! Lorsque j'ai essayé de calculer les valeurs de consommation en fonction de paramètres plus ou moins raisonnables ( , , , , ), j'ai obtenu des nombres négatifs . Une capture d'écran de Mathematica illustrant (axe vertical) en fonction de (axe horizontal):$p=0.052$$m=0.21$$\delta=0.242$$\alpha = 2.54$$\rho=1.48$$C_t$$R$

Je ne m'attends pas à ce que l'introduction de droits de propriété non sécurisés modifie la consommation à l'état stable en valeurs négatives compte tenu d'une fonction de production linéaire. Il semble que j’ai mal appliqué l’algorithme Maximum Principle, mais je ne peux pas comprendre quelle est ma faute. Quelqu'un pourrait-il m'indiquer ce qui n'allait pas? Des idées? PS Vous êtes un héros si vous lisez jusqu'à la fin :)

MISE À JOUR: Comme certaines personnes l’ont suggéré, le principe maximal échoue car j’applique la méthode déterministe à un modèle stochastique. C'est une préoccupation légitime. J'ai décidé de vérifier si la méthode fonctionnait si je posais (ce qui impliquait l'infiniment long scénario de guerre pour l'économie).$p=1$

Les équations canoniques avec la spécification ressemblent à ceci:

$$\begin{equation} \frac{\partial H^c}{\partial C_t}: U'(C_t)-\mu_t = 0 \end{equation}$$

$$\begin{equation} \frac{\partial H^c}{\partial C_t}: \mu_t\left(pA^{1-m}_tR\frac{1}{\alpha M^2_t}-1\right) = 0 \end{equation}$$

$$\begin{equation} \dot{\mu}_t = \rho \mu_t - \mu_t\left(R - R\frac{1-m}{\alpha A^m_t M_t} - \delta\right) \end{equation}$$

J'ai procédé avec la solution comme avant et obtenu le système dynamique suivant (en supposant que :$U(C_t)=\ln{C_t}$

$$\begin{equation} \begin{cases} \dot{C}_t = C_t\left(R - R\frac{1-m}{\alpha A^m_t M_t} + R - \delta -\rho\right) \\ \dot{A}_t = A_t R - A^{1-m}_t\frac{R}{M_t} - C_t - M_t - \delta A_t \end{cases} \end{equation}$$

Résoudre pour l'état d'équilibre. Voici mes valeurs d'équilibre pour le capital humain, l'armée et la consommation.

$$\begin{equation} \bar{A}=\left(\frac{(1-m)^2}{(R-\delta-\rho)^2} \frac{R}{\alpha} \right)^{\frac{1}{1+m}} \end{equation}$$

$$\begin{equation} \bar{M}=\left(\frac{R}{\alpha}\right)^{1/2}\left(\frac{(1-m)^2}{(R-\delta-\rho)^2} \frac{R}{\alpha} \right)^{\frac{1-m}{2(1+m)}} \end{equation}$$

$$\begin{equation} \bar{C}=(R-\delta)\left(\frac{(1-m)^2}{(R-\delta-\rho)^2} \frac{R}{\alpha} \right)^{\frac{1}{1+m}}-2\left(\frac{R}{\alpha}\right)^{1/2}\left(\frac{(1-m)^2}{(R-\delta-\rho)^2} \frac{R}{\alpha}\right)^{\frac{1-m}{2(1+m)}} \end{equation}$$

J'ai simulé les valeurs de nouveau. Voici ce que je reçois: $C_t$

Différentes équations, mais image similaire. La nature stochastique du modèle n’est donc pas le seul problème. Peut-être me manque quelque chose comme une solution bang-bang ici? Ou peut-être qu'il n'existe tout simplement pas dans le cas?

Un problème général que je vois est que vous essayez d’inclure l’incertitude dans un cadre élaboré pour une configuration déterministe.

Ce que vous faites est d'utiliser le revenu attendu dans l'équation du mouvement pour le capital humain. Soit la fonction indicatrice d'attaque, en prenant la valeur lorsqu'il y a attaque et la valeur lorsqu'il n'y en a pas. Ensuite, correctement$I_{a,t}$$1$$0$

$$\dot{A}_t=\underbrace{I_{a,t}q_tY_t}_\text{Post-war income} + \underbrace{(1-I_{a,t})Y_t}_\text{No-war income} - C_t - M_t - \delta A_t$$

et ce que vous utilisez dans votre modèle est . Hmm ..., je ne suis pas sûr que ce soit aussi simple ... Avez-vous examiné les mécanismes du contrôle optimal stochastique en temps continu?$\mathbb E (\dot A_t)$

En dehors de cela, je vois également deux valeurs de paramètre qui sont étranges dans votre simulation, sauf s'il y a quelque chose que vous ne nous dites pas.

1) signifie une dépréciation de % du capital humain par période. Quelle est votre "période" ici? Certes, il s’agit d’un temps continu, mais pour évaluer les résultats de la simulation et voir s’ils ont un sens, vous devez déterminer une longueur discrète de la "période". Une valeur annuelle de référence serait , alors la vôtre correspond à une période d'environ 7 ans.$\delta = 0.242$$24.2$$\delta = 0.04$

2) Le taux de préférence temporelle pure égale à ?? Comment avez-vous obtenu une valeur supérieure à l'unité? ... Pour une période annuelle, la valeur de référence est . Donc, si nous voulons être cohérents avec la période implicite de 7 ans pour le taux d’amortissement, il devrait être d’environ . Donc, pour être cohérent avec le paramètre , vous devez changer .$\rho=1.48$$\rho = 0.02$$\rho = 0.132$$\delta$$\rho$

Mais cela n’affectera pas le résultat, comme le montrent clairement vos équations, d’autant plus que vérifie les très grandes valeurs comparées.$R$

Enfin, et en ignorant tout ce qui précède, ce n’est pas le fait que vous ayez introduit les "droits de propriété non sécurisés", c’est la forme fonctionnelle spécifique que vous avez choisie pour les incorporer dans le modèle, qui pose apparemment tous les problèmes. Les formes mathématiques sont des outils et même lorsque nous disposons de nombreux outils raisonnables (la spécification de la fonction n’est pas déraisonnable), ils ne conviennent pas tous pour tous les modèles. $q_t$

Il existe de nombreuses autres manières d’inclure les «droits de propriété non sécurisés» - par exemple: vous pouvez faire valoir que les dépenses militaires ont une incidence sur la probabilité d’une attaque. Vous pouvez choisir de ne pas inclure le capital humain dans l'expression de . Etc.$q_t$

Donc, si le problème de la manière dont vous gérez l'incertitude en principe (mon premier commentaire) n'est pas un problème après tout, alors vous devriez simplement changer la façon dont vous modélisez la probabilité d'attaque et / ou la perte de sortie due à l'attaque.

Rappelez-vous que vous êtes en train de construire un modèle - et que ce modèle doit être conforme à la réalité et à la raison, et non l'inverse. Et étant donné que la consommation à l'état stable diminuant de manière monotone dans la dotation en ressources exogènes n’est ni raisonnable ni réaliste, vous devez modifier votre modèle. Ce n'est pas le cas que vous venez de découvrir une loi surprenante sur le comportement humain (pas encore du moins).

Il serait intéressant d’obtenir un résultat non-monotone - disons que la consommation de ss ait un minimum ou un maximum en - qui serait vraiment tentant.$R$