En informatique, nous avons souvent à résoudre des relations de récurrence , c'est-à-dire à trouver une forme fermée pour une suite de nombres définie récursivement. Quand on considère les temps d'exécution, on s'intéresse souvent principalement à la croissance asymptotique de la séquence .

Des exemples sont

1. Le temps d'exécution d'une fonction queue récursive descendant à partir de dont le corps prend le temps :$0$$n$$f(n)$

   $\qquad \begin{align} T(0) &= 0 \\ T(n+1) &= T(n) + f(n) \end{align}$

2. La séquence de Fibonacci :

   $\qquad \begin{align} F_0 &= 0 \\ F_1 &= 1 \\ F_{n+2} &= F_n + F_{n+1} \end{align}$

3. Le nombre de mots de Dyck avec paires de parenthèses:$n$

   $\qquad\begin{align} C_0 &= 1 \\ C_{n+1}&=\sum_{i=0}^{n}C_i\,C_{n-i} \end{align}$

4. La récurrence de l'exécution de mergesort sur des listes de longueur :$n$

   $\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= T(\lfloor n/2\rfloor) + T(\lceil n/2\rceil) + n-1 \end{align}$

Quelles sont les méthodes pour résoudre les relations de récurrence? Nous recherchons

• méthodes générales et
• méthodes pour une sous-classe significative

aussi bien que

• méthodes qui donnent des solutions précises et
• méthodes qui fournissent (limites sur) la croissance asymptotique.

^{Ceci est supposé devenir une question de référence. Veuillez poster une réponse par méthode et fournir une description générale ainsi qu'un exemple illustratif.}

Conversion de l'historique complet en historique limité

Il s’agit d’une première étape dans la résolution des récurrences où la valeur de tout entier dépend des valeurs de tous les entiers plus petits. Considérons, par exemple, la récurrence qui survient dans l'analyse de quicksort randomisé . (Ici, est le rang du pivot choisi de manière aléatoire.) Pour tout entier , la valeur de dépend de tout avec . Les récurrences de ce formulaire sont appelées récurrences complètes .knT(n)T(k)k<

$$T(n) = n + \frac{1}{n}\sum_{k=1}^n \big(T(k-1) + T(n-k)\big)$$ $k$$n$$T(n)$$T(k)$$k<n$

Pour résoudre cette récurrence, nous pouvons la transformer en une récurrence historique limitée , où dépend que d’un nombre constant de valeurs précédentes. Mais d’abord, il est utile de simplifier un peu la récurrence, de collecter les termes communs et d’éliminer les fractions embêtantes. Passons maintenant à la conversion en récurrence limitée de l'historique , nous écrivons la récurrence pour , soustrayons et regaérons les termes: n T ( n $T(n)$ T(n-1) ( n - 1 ) T ( n - 1

$$\begin{align*} n T(n) &= n^2 + 2\sum_{k=1}^{n-1} T(k) \end{align*}$$ $T(n-1)$ $$\begin{align*} (n-1) T(n-1) &= (n-1)^2 + 2\sum_{k=1}^{n-2} T(k) \\ \implies nT(n) - (n-1)T(n-1) &= (2n-1) + 2T(n-1) \\[1ex] \implies n T(n) &= (2n-1) + (n+1) T(n-1) \\[1ex] \implies \frac{T(n)}{n+1} &= \frac{2n-1}{n(n+1)} + \frac{T(n-1)}{n} \end{align*}$$

Maintenant, si nous définissons et remplaçons la fraction par la forme asymptotique plus simple , on obtient la récurrence beaucoup plus simple L' élargissement de ce récurrence dans une sommation nous donne immédiatement , où est le ième nombre harmonique . Nous concluons que .2 n - $t(n) = T(n)/(n+1)$ Θ(1/n)t(n)=Θ(1/n)+t(n-1). t(n)=Θ(Hn)=Θ(logn)Hn$\frac{2n-1}{n(n+1)}$$\Theta(1/n)$

$$t(n) = \Theta(1/n) + t(n-1).$$ $t(n) = \Theta(H_n) = \Theta(\log n)$$H_n$$n$$\boldsymbol{T(n) = \Theta(n\log n)}$

Fonctions de génération$\newcommand{\nats}{\mathbb{N}}$

Chaque série de nombres correspond à une fonction génératrice . Il est souvent facile d'obtenir, à partir d'une récurrence, que ses coefficients - les éléments de la série - soient pincés.

Cette réponse inclut l’ansatz général avec un exemple complet, un raccourci pour un cas particulier et quelques notes sur l’utilisation de cette méthode pour obtenir des asymptotiques (même si le résultat précis ne peut pas être obtenu).

La méthode

Soit une série de nombres. Ensuite, la série formelle de puissance$(a_n)_{n\in\nats}$

$\qquad \displaystyle A(z) = \sum_{n=0}^\infty a_nz^n$

est la fonction génératrice ordinaire ¹ de . Les coefficients dans le développement en série de égaux à la séquence, c'est-à-dire . Par exemple, la fonction génératrice ordinaire des fameux nombres catalans est$(a_n)_{n\in\nats}$$A(z)$$[z^n]A(z) = a_n$ $C_n$

$\qquad \displaystyle C(z) = \frac{1 - \sqrt{1 - 4z}}{2z}$ .

La définition de est aussi notre ansatz pour résoudre une récidive. Cela fonctionne mieux pour les récurrences linéaires, donc supposons, par souci de simplicité, une récurrence de la forme.$A$

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= f(n) + \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

pour certains fixes et une fonction indépendante de tout . Maintenant, nous insérons simplement les deux ancres et la partie récursive dans l'ansatz, c'est-à-dire$b_1, \dots, b_k \in \mathbb{R}$$f(n) : \nats \to \nats$$a_i$

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_nz^n \\ &= c_0z^0 + c_1z^1 + \dots + c_{k-1}z^{k-1} + \sum_{n=k}^\infty \left[ f(n) + \left(\sum_{i=1}^k b_i a_{n-i}\right)\right] z^n \end{align}$

En utilisant des mécanismes de manipulation des sommes, des propriétés des séries de puissances formelles et des identités connues ², le dernier membre de droite doit être présenté sous une forme fermée, généralement en . L'équation résultante peut (souvent) être résolue pour . L’extension en série du résultat (qui peut être facilement obtenu, connu ou accessible d’une autre manière) est essentiellement la solution.$A(z)$$A(z)$

On trouve de bonnes introductions dans le livre de Wilf [3] et dans GKP [4]. Les matériaux avancés ont été collectés par Flajolet et Sedgewick [5].

Exemple

Considérer

$\qquad \begin{align} a_0 &= 1 \\ a_1 &= 2 \\ a_n &= 5n + 3a_{n-1} - 2a_{n_2} \qquad , n > 1 \end{align}$

Nous calculons:

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_n z^n \\ &= 1 + 2z + \sum_{n=2}^\infty \left[ 3a_{n-1} - 2a_{n-2} + 5n\right]z^n \\ &= 1 + 2z + 3\sum_{n=2}^\infty a_{n-1}z^n - 2\sum_{n=2}^\infty a_{n-2}z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z\sum_{n=1}^\infty a_nz^n - 2z^2\sum_{n=0}^\infty a_n z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z(A(z) - a_0) - 2z^2A(z) + 5 \left( \frac{z}{(1-z)^2} - z\right) \\ &= 1 - 6z + (3z - 2z^2)A(z) + \frac{5z}{(1-z)^2} \end{align}$

Cela résout à

$\qquad \begin{align} A(z) &= \frac{1 - 3z + 13z^2 - 6z^3}{(1-2z)(1-z)^3} \\ &= \frac{16}{1-2z} - \frac{5}{1-z} - \frac{5}{(1-z)^2} - \frac{5}{(1-z)^3} \\ &= 16\sum_{n=0}^\infty 2^n z^n - 5\sum_{n=0}^\infty z^n - 5 \sum_{n=0}^\infty (n+1) z^n - 5\sum_{n=0}^\infty \frac{(n+1)(n+2)}{2} z^n \end{align}$

Maintenant, nous pouvons enfin lire

$\qquad \begin{align} a_n &= 16 \cdot 2^n - 5 - 5(n+1) - \frac{5}{2}(n+1)(n+2) \\ &= 2^{n+4} - \frac{5}{2}n^2 - \frac{25}{2}n - 15 \end{align}$

Une fois que vous vous y êtes habitué , vous remarquez que tout cela est plutôt mécanique. En fait, la calcul formel peut faire tout cela pour vous dans de nombreux cas. Le bon côté est qu’il reste (plus ou moins) cette mécanique même si la récurrence est plus complexe. Voir ici pour un exemple plus impliqué, moins mécanique.

Notez également que les techniques générales fonctionnent également si les objets recherchés sont des nombres complexes, voire des polynômes.

Un raccourci

Pour les récurrences linéaires et homogènes, c'est-à-dire de la forme

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

ce qui précède passe exactement de la même manière, à chaque fois. En effectuant le calcul ci-dessus symboliquement, nous trouvons le lemme suivant . Laisser

$\qquad \displaystyle z^k - b_1 z^{k-1} - b_2 z^{k-2} - \dots - b_k$

être le polynomal caractéristique (de la récidive). Soit en outre les (distincts par paires) dudit polynôme de multiplicité , respectivement. Ensuite, le coefficient souhaité est donné par$\lambda_1, \dots, \lambda_l$$r_i$

$\qquad \displaystyle a_n = \sum_{i=1}^l \sum_{j=1}^{r_i} b_{i,j} \cdot n^{j-1} \cdot \lambda_i^n$

avec inconnu . Comme le polynôme caractéristique a le degré , il existe exactement (complexes) zéros, c’est-à-dire que la somme égale à . Par conséquent, les coefficients manquants peuvent être déterminés en résolvant le système d'équations linéaires avec équations obtenues en assimilant la formule ci-dessus à tout de (par exemple, les ancres).$b_{i,j}$$k$$k$$r_i$$k$$k$$k$$a_n$

Asymptotiques

Obtenir la forme fermée pour est généralement la partie la plus facile. En exprimant cela en fonctions génératrices, nous connaissons rapidement les coefficients d'efficacité (comme nous l'avons fait dans l'exemple). Les exemples sont d'en haut et celui pour le nombre de mots de Dyck mentionnés dans la question.$A(z)$$C(z)$

On peut employer des mécanismes d’analyse complexes, en particulier l’analyse de la singularité, afin d’obtenir des asymptotiques pour les coefficients; Les mots à la mode incluent la méthode de Darboux et la méthode du point de selle. Celles-ci sont basées sur le théorème des résidus et la formule intégrale de Cauchy . Voir [6] pour plus de détails.

---

1. Vous pouvez faire la même chose avec exponential , Dirichlet et d’ autres fonctions génératrices. Ce qui fonctionne le mieux dépend de la séquence en cours et en particulier si vous trouvez les formulaires fermés nécessaires.
2. Par exemple, à partir de la feuille de triche du TCS ou de [3].
3. Generatingfunctionology de H. Wilf (1994, 2e éd.) - disponible gratuitement en téléchargement
4. Mathématiques concrètes de RL Graham, DE Knuth et O. Patashnik (1994, 2e éd.)
5. Introduction à l'analyse des algorithmes de R. Sedgewick et P. Flajolet (2e édition, 2013) - disponible en téléchargement gratuit
6. La combinatoire analytique de P. Flajolet et R. Sedgewick (2009) - disponible en téléchargement gratuit

Théorème Maître

Le théorème principal donne des solutions asymptotiques pour les solutions de récurrences dites diviser et conquérir , c'est-à-dire telles que diviser leur paramètre en blocs proportionnés (au lieu de couper les constantes). Ils se produisent généralement lors de l'analyse (récursive) d'algorithmes de division et de conquête, d'où le nom. Le théorème est populaire parce qu'il est souvent incroyablement facile à appliquer. D'autre part, il ne peut être appliqué qu'aux récurrences de la forme suivante:

$\qquad \displaystyle T(n) = a \cdot T\left(\frac{n}{b}\right) + f(n)$

avec . Il y a trois cas$a \geq 1, b > 1$

1. $\quad \displaystyle f \in O\left( n^{\log_b (a) - \varepsilon} \right)$

   pour certains ;$\varepsilon > 0$

2. $\quad \displaystyle f \in \Theta\left( n^{\log_b a} \log^{k} n \right)$ ,

   pour certains ;$k \geq 0$

3. $\quad \displaystyle f \in \Omega\left( n^{\log_b (a) + \varepsilon} \right)$

   pour certains et$\varepsilon > 0$

   $\quad \displaystyle a f\left( \frac{n}{b} \right) \le c f(n)$

   pour certains et .$c < 1$$n \to \infty$

ce qui implique les asymptotiques

1. $T \in \Theta\left( n^{\log_b a} \right)$ ,
2. $T \in \Theta\left( n^{\log_b a} \log^{k+1} n \right)$ et
3. $T \in \Theta \left(f \right)$ ,

respectivement. Notez que les cas de base ne sont ni indiqués ni utilisés ici; cela a du sens, étant donné que nous n’étudions que le comportement asymptotique . Nous supposons silencieusement que ce sont des constantes (ce peuvent - ils être. D' autre qui constantes que nous ne voyons pas est hors de propos, ils ont tous disparaissent dans le .$\Theta$

Exemples

1. Considérons la récurrence

   $\qquad \displaystyle T(n) = 4T\left(\frac{n}{3}\right) + n$ .

   Avec et - notez que nous voyons que le cas s’applique avec . Par conséquent, .$f(n) = n, a=4$$b=3$$\log_b a \approx 1.26$$\varepsilon = 0.25$$T \in \Theta(n^{\log_3 4}) = \Theta(n^{1.261\dots})$

2. Considérons la récurrence

   $\qquad \displaystyle T(n) = 2T(n/2) + n$ .

   Avec et - notez que nous voyons que le cas deux s’applique avec . Par conséquent, .$f(n) = n, a=2$$b=2$$\log_b a = 1$$k=0$$T \in \Theta(n \log n)$

3. Considérons la récurrence

   $\qquad \displaystyle T(n) = 3T\left(\frac{n}{4}\right) + n$ .

   Avec et - notez que nous voyons que le cas trois s’applique avec et . Par conséquent, .$f(n) = n, a=3$$b=4$$\log_b a \approx 0.79$$\varepsilon = 0.2$$c=1$$T \in \Theta(n)$

4. Considérons la récurrence

   $\qquad \displaystyle T(n) = 16T\left(\frac{n}{4}\right) + n!$

   Ici nous avons , et- beaucoup d'exemples standard auront le polynôme , mais ce n'est pas une règle. Nous avons , et le cas trois s’applique de nouveau. Dans ce cas cependant, nous pouvons choisir n'importe quel et comme pour tout . D'où .$a = 16$$b=4$$f(n) = n!$$f$$\log_b a = 2$$\varepsilon$$c > 0$$n! \in \Omega(n^{k})$$k$$T \in \Theta(n!)$

Lectures complémentaires

• Il est bien possible qu'aucun des cas du théorème de maître ne s'applique. Par exemple, les sous-problèmes peuvent ne pas avoir la même taille ou une forme plus complexe. Il existe certaines extensions au théorème maître, par exemple Akra-Bazzi [1] ou Roura [2]. Il existe même une version qui fonctionne pour les récurrences discrètes (les sols et les plafonds sont utilisés sur les paramètres récursifs) et fournit des résultats plus précis [3].

• Habituellement, vous devez mettre en forme la relation de récurrence actuelle avant de pouvoir appliquer le théorème principal. Les transformations courantes qui préservent l’asymptotique incluent l’abaissement des planchers et des plafonds ainsi que la supposition de . Veillez à ne pas casser des choses ici; reportez-vous à la section [4] 4.6 et à cette question pour plus de détails.$n=b^k$

---

1. Sur la solution des équations de récurrence linéaire de M. Akra et L. Bazzi (1998)
2. Un théorème maître amélioré pour les récurrences diviser pour régner par S. Roura (1997)
   ^{Fait référence à d'autres théorèmes maîtres améliorés.}
3. Un théorème maître pour les récurrences discrètes de division et conquête de M. Drmota et W. Szpankowski (2011)
4. Introduction aux algorithmes de Cormen et al. (2009, 3ème édition)

Deviner et prouver

Ou comment j'aime l'appeler, la " technique ". Il peut être appliqué à toutes sortes d'identités. L'idée est simple:$\dots$

Devinez la solution et prouvez son exactitude.

Cette méthode est populaire, sans doute parce qu’elle nécessite habituellement un peu de créativité et / ou d’expérience (bon pour montrer) mais peu de mécanique (apparence élégante). L'art ici est de faire de bonnes suppositions éclairées; la preuve est (dans notre cas) généralement une induction plus ou moins simple.

Lorsqu'il est appliqué aux récurrences, "deviner" est généralement fait par

• étendre la récurrence plusieurs fois,
• déterminer l' ancre et
• deviner le motif pour l'intermédiaire (les ).$\dots$

Exemple simple

$\qquad \begin{align} s_0 &= s_1 = s_2 = 1 \\ s_n &= 5s_{n-3} + 6 \qquad\qquad n \geq 2 \end{align}$

Élargissons la définition de quelques fois:$s_n$

$\qquad \begin{align} s_n &= 5s_{n-3} + 6 \\ &= 5(5s_{n-6} + 6) + 6 \\ &= 5(5(5s_{n-9} + 6) + 6) + 6 \\ &\ \vdots \\ &= \underbrace{5(5(5( \dots 5\cdot 1}_{n \div 3 \text{ times}} + \underbrace{6 \dots ) + 6) + 6) + 6}_{n \div 3 \text{ times}} \end{align}$

Ici, le motif est facile à repérer et nous amène à l’affirmation suivante:

$\qquad \begin{align} s_n &= 5^{\left\lfloor\frac{n}{3}\right\rfloor} + 6\cdot \sum_{i=0}^{\left\lfloor\frac{n}{3}\right\rfloor - 1} 5^i \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \end{align}$

Maintenant, nous prouvons l'identité par induction. Pour , nous pouvons établir la correction en insérant la valeur correspondante. En supposant que l’identité soit valable pour tout pour un arbitraire mais fixe , nous calculons$n \in \{0,1,2\}$$n' \leq n$$n \geq 3$

$\qquad \displaystyle \begin{align} s_{n+3} &= 5s_n + 6 \\ &= 5\cdot \left( \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \right) + 6 \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor + 1} - \frac{6}{4} \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n+3}{3}\right\rfloor} - \frac{6}{4} \end{align}$

ce qui prouve l'identité par le pouvoir de l'induction.

Si vous essayez de l'utiliser sur des récurrences plus complexes, vous rencontrerez rapidement le principal inconvénient de cette méthode: il peut être difficile de voir le motif, ou de le condenser en un formulaire fermé et agréable.

Asymptotiques

Il est également possible d’utiliser cette méthode pour les asymptotiques. Sachez cependant que vous devez deviner les constantes pour les symboles de Landau, car il doit y avoir une constante qui établit la limite pour tout , c’est-à-dire que le facteur constant ne peut pas changer pendant l’induction.$n$

Considérons, par exemple, la récurrence d'exécution de Mergesort, simplifiée pour le cas de k¹:$n=2^k$

$\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= 2T(n/2) + n-1 \qquad n \geq 1 \end{align}$

On devine que avec la constante , c’est . Nous le prouvons par induction sur ; la marche inductive ressemble à ceci:$T(n) \in O(n\log n)$$c=1$$T(n) \leq n\log n$$k$

$\qquad \begin{align} T(n) &= 2T(n/2) + n-1 \\ &\leq 2\frac{n}{2}\log \frac{n}{2} + n - 1 \\ &= n\log n - n\log 2 + n - 1 \\ &\lt n \log n \end{align}$

---

1. Pour les séquences naturelles non décroissantes, chaque sous-séquence infinie a la même croissance asymptotique que la séquence d'origine.

La méthode Akra-Bazzi

La méthode Akra-Bazzi donne des asymptotiques pour les récurrences de la forme: Ceci couvre les récurrences habituelles de division et conquête, mais aussi les cas dans lesquels la division est inégale. Les "termes de fudge" peuvent prendre en compte des divisions qui ne sortent pas exactement, par exemple. Les conditions d'applicabilité sont:

$$T(x) = \sum_{1 \le i \le k} a_i T(b_i x + h_i(x)) + g(x) \quad \text{for $x \ge x_0$}$$ $h_i(x)$

• Il y a suffisamment de cas de base pour que la récurrence continue
• Les et sont toutes des constantes$a_i$$b_i$
• Pour tout ,$i$$a_i > 0$
• Pour tout ,$i$$0 < b_i < 1$
• $\lvert g(x) \rvert = O(x^c)$ pour une constante comme$c$$x \rightarrow \infty$
• Pour tout ,$i$$\lvert h_i(x) \rvert = O(x / (\log x)^2)$
• $x_0$ est une constante

Notez que et que la fonction en dents de scie est toujours comprise entre 0 et 1, remplaçant ainsi (ou comme il ) satisfait les conditions du .$\lfloor b_i x \rfloor = b_i x - \{b_i x\}$$\{ u \} = u - \lfloor u \rfloor$$\lfloor b_i x \rfloor$$\lceil b_i x \rceil$$h_i$

Trouvez tel que: Alors le comportement asymptotique de comme est donné par: avec "assez grand", c'est-à-dire qu'il y a pour que pour tout .$p$

$$\sum_{1 \le i \le k} a_i b_i^p = 1$$ $T(x)$$x \rightarrow \infty$ $$T(x) = \Theta \left( x^p \left( 1 + \int_{x_1}^x \frac{g(u)}{u^{p + 1}} du \right) \right)$$ $x_1$$k_1>0$ $$g(x/2) \geq k_1g(x) \tag{2}$$ $x>x_1$

Exemple A

Par exemple, prenons la récursivité pour , où : Les conditions sont remplies, nous avons besoin de : Comme par hasard, . Nous avons donc: $n \ge 5$$T(0) = T(1) = T(2) = T(3) = T(4) = 17$

$$T(n) = 9 T(\lfloor n / 5 \rfloor) + T(\lceil 4 n / 5 \rceil) + 3 n \log n$$ $p$ $$9 \left( \frac{1}{5} \right)^p + \left( \frac{4}{5} \right)^p = 1$$ $p = 2$ $$T(n) = \Theta \left( n^2 \left(1 + \int_3^n \frac{3 u \log u}{u^3} du \right) \right) = \Theta(n^2)$$

depuis avec nous remplissons pour tout . Notez que parce que l'intégrale converge même si nous utilisons d'autres constantes, telles que , en tant que borne inférieure, il est légal de les utiliser également; la différence disparaît dans .$k_1 \leq \frac{1}{2}\left(1 - \frac{\log 2}{\log 3}\right)$$(2)$$x\geq 3$$1$$\Theta$

Exemple B

Voici un autre exemple pour : Nous avons , vérifiez. Nous avons qu’il existe un seul , , qui vérifie. En supposant que le soit vraiment et / ou , le sous-entendu vérifie également. Nous avons donc besoin de: Donc et: $n \ge 2$

$$T(n) = 4 T(n / 2) + n^2 / \lg n$$ $g(n) = n^2 / \ln n = O(n^2)$$a_1 = 4$$b_1 = 1 / 2$$n / 2$$\lfloor n / 2 \rfloor$$\lceil n / 2 \rceil$$h_i(n)$ $$a_1 b_1^p = 4 \cdot (1 / 2)^p = 1$$ $p = 2$ $$T(n) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{u^2 du}{u^3 \ln u} \right) \right) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{du}{u \ln u} \right) \right) = \Theta(n^2 \ln \ln n)$$ Nous appliquons le même truc que ci-dessus à la limite inférieure de l'intégrale, seulement que nous utilisons parce que l'intégrale ne converge pas pour .$2$$1$

(L'aide de maxima avec l'algèbre est grandement appréciée)

Sommations

On rencontre souvent une récurrence de la forme où est monotone. Dans ce cas, nous pouvons développer et donc avec une valeur de départ , afin d'estimer il faut estimer la somme .

$$T(n) = T(n-1) + f(n),$$ $f(n)$ $$T(n) = T(c) + \sum_{m=c+1}^n f(m),$$ $T(c)$$T(n)$$f(c+1) + \cdots + f(m)$

non décroissant$f(n)$

Lorsque est monotone non décroissant, nous avons les bornes évidentes Ces limites sont optimales dans le sens où elles sont resserrées pour certaines fonctions: la limite supérieure des fonctions constantes et la limite inférieure des fonctions de pas ( pour et pour ). Cependant, dans de nombreux cas, ces estimations ne sont pas très utiles. Par exemple, lorsque , la limite inférieure est et la limite supérieure est , elles sont donc très éloignées les unes des autres.$f(n)$

$$f(n) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(n).$$ $f(m) = 1$$m \geq n$$f(m) = 0$$m < n$$f(m) = m$$n$$(n-c)n$

L'intégration

Une meilleure estimation est donnée par intégration: Pour , cela donne la valeur correcte de la somme jusqu'aux termes d'ordre inférieur: Lorsque nous pouvons calculer la somme explicitement, mais dans de nombreux cas, le calcul explicite est difficile. Par exemple, lorsque l’antidivatif de est , et donc

$$\int_c^n f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_{c+1}^{n+1} f(x) dx.$$ $f(m) = m$ $$\frac{1}{2} n^2 - \frac{1}{2} c^2 \leq \sum_{m=c+1}^n m \leq \frac{1}{2} (n+1)^2 - \frac{1}{2} (c+1)^2.$$ $f(m) = m$$f(m) = m\log m$$f$$(1/2) x^2\log x - (1/4) x^2$ $$\sum_{m=c+1}^n m\log m = \frac{1}{2} n^2 \log n \pm \Theta(n^2).$$

La formule d'Euler – Maclaurin donne de meilleures estimations. Cette formule peut être utilisée, par exemple, pour prouver des formes fortes de la formule de Stirling, en estimant la somme .$\log n! = \sum_{m=1}^n \log m$

Non croissant$f(n)$

Dans certains cas, est monotone sans augmentation. Les estimations triviales deviennent et les estimations intégrales Par exemple, pour , en utilisant nous obtenons $f(n)$

$$f(1) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(1),$$ $$\int_{c+1}^{n+1} f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_c^n f(x) dx.$$ $f(m) = 1/m$$\int f(m) = \log m$ $$\sum_{m=c+1}^n \frac{1}{m} = \log n \pm \Theta(1).$$

Sedgewick et Flajolet ont effectué des travaux approfondis en combinatoire analytique , ce qui permet de résoudre les récurrences de manière asymptotique en combinant des fonctions génératrices et des analyses complexes. Leur travail permet de résoudre automatiquement de nombreuses récurrences et a été implémenté dans certains systèmes de calcul formel.

Ce manuel sur le sujet a été écrit par Flajolet et Sedgewick et constitue une excellente référence. Ce texte de Sedgewick et Flajolet est un exposé un peu plus simple, axé sur les applications à l'analyse algorithmique .

J'espère que cela t'aides!

Il peut arriver que vous rencontriez une étrange récurrence comme celle-ci: Si vous êtes comme moi, vous réaliserez que vous ne pouvez pas utiliser le théorème maître et vous pourrez alors penser: " hmmm ... peut-être qu'une analyse d'arbre de récurrence pourrait fonctionner. " Vous réaliseriez alors que l’arbre commence à devenir très brut. Après quelques recherches sur Internet, vous verrez que la méthode Akra-Bazzi fonctionnera! Ensuite, vous commencez réellement à examiner la situation et vous réalisez que vous ne voulez pas vraiment faire tous les calculs. Si vous avez été comme moi jusqu'à présent, vous serez ravi de savoir qu'il existe un moyen plus simple.

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$

---

Le théorème de la division inégale, partie 1

Soit et des constantes positives.$c$$k$

Soit alors des constantes positives telles que .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i < 1$

Nous devons également avoir une récurrence du formulaire (comme notre exemple ci-dessus):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Prétendre

Ensuite, je revendique où est une constante (par exemple, asymptotiquement linéaire) et:$T(n) \leq bn$$b$

$$b = \frac{c}{1 - \left(\sum_1^k a_i\right)}$$

Preuve par induction

Base :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c < b < bn$

Induction : Vrai pour n'importe quel , on a alors$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + b \lfloor a_1 n \rfloor + b \lfloor a_2 n \rfloor + \dots + b \lfloor a_k n \rfloor\\ & \leq cn + b a_1 n + b a_2 n + \dots + b a_k n\\ & = cn + bn \sum_1^k a_i\\[0.5em] & = \frac{cn - cn \sum_1^k a_i }{1 - \left(\sum_1^k a_i\right)} + \frac{cn \sum_1^k a_i}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] & = \frac{cn}{1 - \left(\sum_1^k a_i\right)}\\ & = bn & \square \end{align}$$

Alors nous avons .$T(n) \leq bn \implies T(n) = O(n)$

Exemple

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$ Nous vérifions d’abord les coefficients des appels récursifs dont la somme est inférieure à un: $$\begin{align} 1 & > \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7}\\[0.5em] & = \frac{2}{5} + \frac{4}{7}\\[0.5em] & = \frac{34}{35} \end{align}$$

Nous vérifions ensuite que le cas de base est inférieur au max des inverses des coefficients:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7\}\\ & = 7 \end{align}$$

Avec ces conditions remplies, nous savons où est une constante égale à: Nous avons donc: $T(n) \leq bn$$b$

$$\begin{align} b &= \frac{c}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] &= \frac{c}{1 - \frac{34}{35}}\\[0.5em] &= 35c \end{align}$$ $$\begin{align} T(n) & \leq 35cn\\ \land\; T(n) & \geq cn\\ \therefore T(n) & = \Theta(n) \end{align}$$

---

Le théorème de la division inégale, partie 2

De même, nous pouvons prouver une limite pour quand . La preuve suivra beaucoup du même format:$\sum_1^k = 1$

Soit et des constantes positives telles que .$c$$k$$k > 1$

Soit alors des constantes positives telles que .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i = 1$

Nous devons également avoir une récurrence du formulaire (comme notre exemple ci-dessus):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Prétendre

Alors je réclame (nous choisissons base car sera le facteur de branchement de l’arbre de récursion) où et sont des constantes (par exemple asymptotiquement linéarithmique ) tel que:$T(n) \leq \alpha n \log_k n + \beta n$$\log$$k$$k$$\alpha$$\beta$

$$\beta = c$$ et $$\alpha = \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}$$

Preuve par induction

Base :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c = \beta < \alpha n \log_k n + \beta n$

Induction : Vrai pour n'importe quel , on a alors$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + \sum_1^k (\alpha a_i n \log_k a_i n + \beta a_i n)\\ & = cn + \alpha n\sum_1^k (a_i \log_k a_i n) + \beta n\sum_1^k a_i\\ & = cn + \alpha n\sum_1^k \left(a_i \log_k \frac{n}{a_i^{-1}}\right) + \beta n\\ & = cn + \alpha n\sum_1^k (a_i (\log_k n - \log_k a_i^{-1})) + \beta n\\ & = cn + \alpha n\sum_1^k a_i \log_k n - \alpha n\sum_1^k a_i \log_k a_i^{-1} + \beta n\\ & = \alpha n\sum_1^k a_i \log_k n + \beta n\\ & = \alpha n \log_k n + \beta n & \square \end{align}$$

Alors nous avons .$T(n) \leq \alpha n \log_k n + \beta n \implies T(n) = O(n \log n)$

Exemple

Modifions cet exemple précédent que nous avons utilisé juste un petit peu:

$$T(n) = \begin{cases} c & n < 35\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + T\left(\frac{n}{35}\right)+ cn & n \geq 35 \end{cases}$$

Nous vérifions d’abord les coefficients dans les appels récursifs dont la somme est égale à un:

$$\begin{align} 1 & = \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{35}\\[0.5em] & = \frac{2}{5} + \frac{4}{7} + \frac{1}{35}\\[0.5em] & = \frac{35}{35} \end{align}$$

Nous vérifions ensuite que le cas de base est inférieur au max des inverses des coefficients:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7, 35\}\\ & = 35 \end{align}$$

Avec ces conditions remplies, nous savons où et est une constante égale à: Nous avons donc: $T(n)\leq \alpha n \log n + \beta n$$\beta = c$$\alpha$

$$\begin{align} b &= \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}\\[0.5em] &= \frac{c}{\frac{2 \log_7 5}{5} + \frac{4 \log_7 7}{7} + \frac{\log_7 35}{35}}\\[0.5em] &\approx 1.048c \end{align}$$ $$\begin{align} T(n) & \leq 1.048cn\log_7 n + cn\\ \therefore T(n) & = O(n \log n) \end{align}$$

Après avoir vérifié à nouveau ce post, je suis surpris que ce ne soit pas encore arrivé.

Transformation de domaine / changement de variables

Lorsque vous traitez avec des récurrences, il est parfois utile de pouvoir modifier votre domaine si la profondeur de la pile de récursivité n'est pas claire.

Par exemple, prenons la récurrence suivante:

$$T(n) = T(2^{2^{\sqrt{\log \log n}}}) + \log \log \log n$$

Comment pourrions-nous jamais résoudre ce problème? Nous pourrions étendre la série, mais je vous promets que cela va devenir très rapide. Au lieu de cela, considérons comment notre entrée change à chaque appel.

Nous avons d'abord:

1. $n$ , alors
2. $2^{2^{\sqrt{\log \log n}}}$ , puis
3. $2^{2^{\sqrt{\log \log (2^{2^{\sqrt{\log \log n}}})}}}$ , etc.

Le but d'une transformation de domaine sera maintenant de changer notre récurrence en un équivalent, de sorte qu'au lieu des transitions ci-dessus, nous ayons simplement .$S(k)$$k, k-1, k-2, \ldots$

Par exemple, si , voici ce que nous obtenons pour notre récurrence précédente: Ensuite, nous pouvons simplement le récrire comme : Ensuite, tout ce que vous avez à faire est de reconvertir en pour obtenir: $n = 2^{2^{2^{2^k}}}$

$$\begin{align*} T(2^{2^{2^{2^k}}}) & = T(2^{2^{\sqrt{\log \log 2^{2^{2^{2^{k}}}}}}}) + \log \log \log (2^{2^{2^{2^{k}}}})\\ & = T(2^{2^{2^{2^{k-1}}}}) + 2^k \end{align*}$$ $$T(k) = T(k-1) + 2^k = \sum_{i = 1}^{k} 2^k = 2^{k+1} - 1$$ $k$$n$ $$T(n) = 2^{(\log \log \log \log n) + 1} - 1 = O(\log \log \log n)$$

---

Avec cet exemple, nous pouvons maintenant voir notre objectif.

Supposons que Pour une constante et fonctions et .

$$T(n) = \begin{cases} h(1) & n = 1\\ a\cdot T(f(n)) + h(n) & \mathrm{otherwise} \end{cases}$$ $a$$f(n)$$h(n)$

Nous essayons maintenant de trouver une fonction et telle que $g(k) = n$$f(g(k)) = g(k-1)$

$$\begin{align*} T(g(k)) &= aT(f(g(k))) + h(g(k))\\ & = a\cdot T(g(k-1)) + h(g(k)) \end{align*}$$

Plus généralement, on veut où est l'application répétée de sur , fois. (par exemple, ). Cela permettra à d’agir en tant que fonction "itérative". Où, à la profondeur de la récursion, le travail effectué est simplement .$f^{(i)}(n) = g(k - i)$$f^{(i)}(n)$$f$$n$$i$$f^{(2)}(n) = f(f(n))$$g(k)$$i$$h(g(k-i))$

Ensuite , nous pouvons facilement convertir en de telle sorte que Ensuite , nous avons seulement à se soucier en sommant pour tout jusqu'à un cas de base donné. C'est-à-dire que $S(k) = T(g(k))$

$$S(k) = a\cdot S(k-1) + h(g(k))$$ $h(g(k))$$k$ $$S(k) = \sum_{i = g^{-1}(1)}^{k} a^{k - i} h(g(i))$$

Si nous pouvons déterminer pour une fonction fermée de , alors nous pouvons déterminer comme étant $S(k) = \gamma(k)$$\gamma$$T(n)$

$$T(n) = \gamma( g^{-1}(n))$$

Ensuite, nous utilisons ceci pour obtenir une borne sur via l’une des méthodes ci-dessus. Vous pouvez évidemment modifier légèrement cette méthode selon vos spécifications, mais en général, vous essayez de trouver une fonction itérative pour transformer en une récursion simple.$T(n)$$g(k)$$T(n)$

Je ne connais pas de méthode exacte pour déterminer à ce stade, mais je continuerai d'y penser et de le mettre à jour si cela devient plus clair (ou si un commentateur a des astuces!). J'ai surtout trouvé mes fonctions par essais et erreurs dans le passé (voir ici , ici , ici et ici pour des exemples).$g(k)$$g(k)$

Une autre approche fonctionne pour les relations de récurrence simples: demandez à Wolfram Alpha de résoudre le problème pour vous.

Par exemple, essayez de taper f(0)=0, f(1)=1, f(n)=f(n-1)+f(n-2)dans Wolfram Alpha. Vous obtiendrez une solution, avec un lien vers les numéros de Fibonacci. Ou essayez f(1)=1, f(n)=f(n-1)+nou f(1)=1, f(n)=2*f(n-1)+3*nou f(n)=f(n-1) + 2 f(n-2), f(1)=1, f(2)=3pour d'autres exemples. Cependant, soyez averti: Wolfram Alpha peut résoudre des récurrences très simples, mais il s'effondre pour des plus complexes.

Cette approche permet d’éviter toute réflexion, qui peut être considérée comme un bug ou une fonctionnalité.

Le cas 2 du théorème maître, comme indiqué habituellement, ne traite que les récurrences de la forme dans laquelle pour . Le théorème suivant, tiré d'un document de Jeffrey Leon, donne la réponse pour négatif :$T(n) = aT(n/b) + f(n)$$f(n) = \Theta(n^{\log_ab}\log^k n)$$k \geq 0$$k$

Considérons la récurrence avec un cas de base approprié.$T(n) = a T(n/b) + f(n)$

1. Si pour alors .$f(n) = O(n^{\log_b a} \log^{c-1} n)$$c < 0$$T(n) = \Theta(n^{\log_b a})$

2. Si pour alors .$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c = 0$$T(n) = \Theta(n^{\log_b a} \log\log n)$

3. Si pour alors ).$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c > 0$$T(n) = \Theta(n^{\log_b a} \log^c n$

La preuve utilise la méthode de la substitution répétée, comme nous le dessinons maintenant. Supposons que et . Alors pour une puissance de , Examinons maintenant les cas un par un. Lorsque , la série converge et ainsi . Lorsque , la somme est la somme des harmoniques , et ainsi de suite.$f(n) = n^{\log_b a} \log_b^{c-1} n$$T(1) = 0$$n$$b$

$$T(n) = \sum_{i=0}^{\log_b n-1} a^i (nb^{-i})^{\log_b a} \log_b^{c-1} (nb^{-i}) = \\ \sum_{i=0}^{\log_b n-1} n^{\log_b a} (\log_b n - i)^{c-1} = n^{\log_b a} \sum_{j=1}^{\log_b n} j^{c-1}.$$ $c < 0$$\sum_{j=0}^\infty j^{c-1}$$T(n) = \Theta(n^{\log_b a})$$c = 0$$H_{\log_b n} = \log(\log_b n) + O(1)$$T(n) = \Theta(n^{\log_b a} \log \log n)$ . Quand , on peut approximer la somme en utilisant une intégrale: et ainsi .$c > 0$ $$\sum_{j=1}^{\log_b n} \approx \int_0^{\log_b n} x^{c-1} \, dx = \left. \frac{x^c}{c} \right|_0^{\log_b n} = \frac{\log_b^c n}{c},$$ $T(n) = \Theta(n^{\log_b a} \log^c n)$