Le problème de la pêche

Supposons que vous vouliez aller pêcher au lac voisin de 8h à 20h. En raison de la surpêche, une loi a été adoptée qui stipule que vous ne pouvez attraper qu'un seul poisson par jour. Lorsque vous attrapez un poisson, vous pouvez choisir de le garder (et donc de rentrer chez lui avec ce poisson), ou de le jeter dans le lac et de continuer à pêcher (mais risquez de vous installer plus tard avec un poisson plus petit, ou pas de poisson du tout). Vous voulez attraper un poisson aussi gros que possible; en particulier, vous souhaitez maximiser la masse attendue de poisson que vous ramenez à la maison.

Formellement, nous pourrions régler ce problème comme suit: les poissons sont capturés à un certain rythme (donc, le temps qu'il faut pour attraper votre prochain poisson suit une distribution exponentielle connue), et la taille des poissons capturés suit une certaine distribution (également connue) . Nous voulons un processus de décision qui, compte tenu de l'heure actuelle et de la taille d'un poisson que vous venez de capturer, décide de garder le poisson ou de le renvoyer.

La question est donc: comment prendre cette décision? Existe-t-il un moyen simple (ou compliqué) de décider quand arrêter de pêcher? Je pense que le problème revient à déterminer, pour un temps donné t, quelle masse de poisson attendue qu'un pêcheur optimal ramènerait à la maison s'il commençait au temps t; le processus de décision optimal garderait un poisson si et seulement si le poisson est plus lourd que cette masse attendue. Mais cela semble en quelque sorte autoréférentiel; nous définissons la stratégie de pêche optimale en termes de pêcheur optimal, et je ne sais pas trop comment procéder.

stochastic-processes optimal-stopping

— b2coutts
source

Découvrez le problème des secrétaires sur Wikipedia - en particulier la section sur la 1 / e-loi du meilleur choix.

— soakley

Je pense qu'une différence clé ici est qu'il est supposé que nous savons comment tout est distribué, alors que la clé de cette solution est qu'elle utilise les premiers candidats 1 / e juste pour acquérir une partie de cette connaissance et définir un bon seuil. Je pense qu'une idée similaire ne pouvait pas vraiment fonctionner ici. Vous pourriez imaginer simplement dériver un seuil à partir des distributions, mais je ne pense pas qu'il devrait être fixé; Je pense que le seuil devrait diminuer avec le temps, car vous avez de moins en moins de temps pour attraper de meilleurs poissons / n'importe quel poisson.

— b2coutts

@soakley voir aussi ma réponse à la réponse d'Olooney; la valeur (attendue) de l'attente dépend non seulement des captures que vous obtiendrez à l'avenir, mais de celles que votre stratégie prendra réellement. Je pense donc qu'il y a aussi un aspect autoréférentiel étrange dans cette question.

— b2coutts

Quelle est la fonction ou la valeur que nous essayons d'optimiser? Autrement dit, comment évaluons-nous le risque et le profit? Est-il utile de trouver une méthode qui maximise la valeur attendue de la taille du poisson capturé? Pêchons-nous seulement un jour ou plusieurs jours, et dans ce dernier cas, comment les jours sont-ils corrélés?

— Sextus Empiricus

Nous savons que la distribution ... cela fait-il simplement référence au type de distribution, ou cela inclut-il également les paramètres de distribution?

— Sextus Empiricus

Soit le taux du processus de Poisson et soit où est la fonction de distribution cumulative de la distribution de la taille du poisson. $\lambda$ $S(x)=1-F(x)$ $F(x)$

Soit la fin de la journée et , , la capture attendue dans l'intervalle nous obtenons en utilisant la stratégie optimale. Clairement . De plus, si nous attrapons un poisson de taille au temps nous devons le garder et arrêter de pêcher s'il est plus grand que . C'est donc notre règle de décision. Ainsi, une réalisation du processus et la décision réalisée (point vert) peuvent ressembler à ceci: $t=0$ $g(t)$ $t\le 0$ $(t,0)$ $g(0)=0$ $x$ $t$ $g(t)$

En travaillant en temps continu, en utilisant des idées de programmation dynamique stochastique , le changement de arrière dans le temps est décrit par une simple équation différentielle. Considérons un intervalle de temps infinitésimal . La probabilité que nous capturions un poisson de taille dans cet intervalle de temps est sinon notre capture attendue sera . $g(t)$ $(t-dt,t)$ $X>g(t)$

λ d t S (g (t)),

$\lambda dt S(g(t)),$

g (t)

$g(t)$

En utilisant une formule pour la vie résiduelle moyenne , la taille attendue d'un poisson supérieur à comme $g(t)$

E (X | X > g (t)) = g (t) + \frac{1}{S (g (t))} \int_{g (t)}^{\infty} S (x) d x .

$E(X|X>g(t))=g(t)+\frac1{S(g(t))}\int_{g(t)}^\infty S(x)dx.$

Par conséquent, en utilisant la loi de l'espérance totale, la capture attendue dans l'intervalle devient $(t-dt,0)$

g (t - d t) = [λ d t S (g (t))] [g (t) + \frac{1}{S (g (t))} \int_{g (t)}^{\infty} S (x) d x] + [1 - λ d t S (g (t)] g (t) .

$g(t-dt) =[\lambda dt S(g(t))][g(t)+\frac1{S(g(t))}\int_{g(t)}^\infty S(x)dx] + [1-\lambda dt S(g(t)] g(t).$

En réarrangeant, nous trouvons que satisfait Notez comment vers la fin de la journée diminue à un taux égal au produit du taux de Poisson et de la taille moyenne du poisson reflétant que nous à ce point sera préférable de garder tous les poissons que nous pourrions attraper. $g(t)$

\begin{matrix} (1) & \frac{d g}{d t} = - λ \int_{g (t)}^{\infty} S (x) d x . \end{matrix}

$\frac{dg}{dt}=-\lambda \int_{g(t)}^\infty S(x) dx. \tag{1}$

g (t)

$g(t)$

λ

$\lambda$

\int_{0}^{\infty} S (x) d x

$\int_0^\infty S(x)dx$

Exemple 1 : Supposons que les tailles de poisson telles que . L'équation (1) se simplifie alors en qui est une équation différentielle séparable. En utilisant la condition aux limites ci-dessus, la solution est pour montré dans la figure ci-dessus pour . Le code suivant compare la capture moyenne à l'aide de cette stratégie calculée à partir de simulations avec la moyenne théorique . $X\sim \exp(\alpha)$ $S(x)=e^{-\alpha x}$

\frac{d g}{d t} = - \frac{λ}{α} e^{- α g (t)}

$\frac{dg}{dt}=-\frac\lambda\alpha e^{-\alpha g(t)}$

g (t) = \frac{1}{α} \ln (1 - λ t),

$g(t) = \frac1\alpha\ln(1-\lambda t),$

t \leq 0

$t\le 0$

α = λ = 1

$\alpha=\lambda=1$

g (- 12)

$g(-12)$

g <- function(t,lambda, rate) {
  1/rate*log(1-lambda*t)
}
catch <- function(daylength=12, lambda=1, rfn=runif, gfn=g, ...) {
  n <- rpois(1,daylength*lambda)
  starttime <- -daylength
  arrivaltimes <- sort(runif(n,starttime,0))
  X <- rfn(n,...)
  j <- match(TRUE, X > gfn(arrivaltimes,lambda,...))
  if (is.na(j))
    0
  else
    X[j]
}
nsim <- 1e+5
catches <- rep(0,nsim)
for (i in 1:nsim)
  catches[i] <- catch(gfn=g,rfn=rexp,rate=1,lambda=1)
> mean(catches)
[1] 2.55802
> g(-12,1,1)
[1] 2.564949

Exemple 2: Si une dérivation similaire conduit à comme solution de (1). Notez comment tend vers la taille maximale du poisson comme . $X \sim U(0,1)$

g (t) = 1 - \frac{1}{1 - λ t / 2}

$g(t) = 1 - \frac1{1-\lambda t/2}$

g (t)

$g(t)$

t \to - \infty

$t\rightarrow -\infty$

— Jarle Tufto
source

On ne sait pas pourquoi la stratégie d'arrêt si vous attrapez un poisson dont la taille dépasse est optimale. Il serait plus logique d'arrêter si la taille du poisson dépasse la taille maximale attendue du poisson en .

g (t)

$g(t)$

(t, 0)

$(t,0)$

— Alex R.

Vous arrêterez de pêcher avant d'avoir la possibilité de choisir le plus gros poisson. est la taille attendue du poisson que vous décidez de garder capturé dans l'intervalle . C'est aussi la règle de décision, au temps , arrêtez de pêcher si vous attrapez un poisson plus gros que .

g (t)

$g(t)$

(t, 0)

$(t,0)$

t

$t$

g (t)

$g(t)$

— Jarle Tufto

@AlexR. J'ai essayé une simulation pour l'exemple 2 en utilisant la taille maximale attendue du poisson Il est proche mais a fonctionné moins bien. L'espérance du maximum inclut les poissons qui ne seront pas cueillis (ceux qui s'avèrent être inférieurs à ). Avec cette attente du maximum, vous êtes plus enclin à attendre ce moment où vous obtenez une prise très avantageuse. Cela vous donne plus souvent de gros poissons, mais au prix de plus de petits poissons, ou pas du tout.

g^{'} (t) = 1 - \frac{e^{λ t} - 1}{λ t}

$g'(t)=1-\frac{e^{\lambda t}-1}{\lambda t}$

g^{'} (t)

$g'(t)$

— Sextus Empiricus