Comment O et Ω sont-ils liés au pire et au meilleur des cas?

Aujourd'hui, nous avons discuté dans une conférence d'un algorithme très simple pour trouver un élément dans un tableau trié à l'aide de la recherche binaire . On nous a demandé de déterminer sa complexité asymptotique pour un tableau de éléments.$n$

Mon idée était que c'est visiblement , ou pour être plus précis car est le nombre d'opérations dans le pire des cas. Mais je peux faire mieux, par exemple si je frappe l'élément recherché la première fois - alors la limite inférieure est .$O(\log n)$$O(\log_2 n)$$\log_2 n$$\Omega(1)$

Le conférencier a présenté la solution sous la forme car nous ne considérons généralement que les entrées du pire des cas pour les algorithmes.$\Theta(\log n)$

Mais si l'on considère uniquement les pires cas, quel est l'intérêt d'avoir et -notation lorsque tous les pires cas du problème donné ont la même complexité ( serait tout ce dont nous avons besoin, non?).$O$$\Omega$$\Theta$

Qu'est-ce que j'oublie ici?

La notation de Landau indique des bornes asymptotiques sur les fonctions . Voir ici pour une explication des différences entre $O$ , $\Omega$ et $\Theta$ .

Le pire, le meilleur, le temps moyen ou le nom de votre cas décrit des fonctions d'exécution distinctes: une pour la séquence d'exécution la plus élevée d'un donné , une pour celle du plus bas, etc.$n$

En soi, les deux n'ont rien à voir l'un avec l'autre. Les définitions sont indépendantes. Nous pouvons maintenant aller de l'avant et formuler des limites asymptotiques sur les fonctions d'exécution: supérieure ( ), inférieure ( ) ou les deux ( ). Nous pouvons le faire pour le pire, le meilleur ou tout autre cas.Ω $O$$\Omega$$\Theta$

Par exemple, dans la recherche binaire, nous obtenons une asymptotique d'exécution dans le meilleur des cas de et une asymptotique dans le pire des cas de .Θ ( log n $\Theta(1)$$\Theta(\log n)$

Considérez l'algorithme suivant (ou procédure, ou morceau de code, ou autre):

Contrive(n)
1. if n = 0 then do something Theta(n^3)
2. else if n is even then
3.    flip a coin
4.    if heads, do something Theta(n)
5.    else if tails, do something Theta(n^2)
6. else if n is odd then
7.    flip a coin
8.    if heads, do something Theta(n^4)
9.    else if tails, do something Theta(n^5)

Quel est le comportement asymptotique de cette fonction?

Dans le meilleur des cas (où est pair), le runtime est et , mais pas de quoi que ce soit.Ω ( n ) O ( n 2 ) $n$$\Omega(n)$$O(n^2)$$\Theta$

Dans le pire des cas (où est impair), le runtime est et , mais pas .Ω ( n 4 ) O ( n 5 ) $n$$\Omega(n^4)$$O(n^5)$$\Theta$

Dans le cas , le runtime est .Θ ( n 3$n = 0$$\Theta(n^3)$

Ceci est un peu un exemple artificiel, mais uniquement dans le but de démontrer clairement les différences entre le lié et le cas. Vous pourriez faire en sorte que la distinction devienne significative avec des procédures complètement déterministes, si les activités que vous effectuez n'ont pas de limites connues .$\Theta$

Pas nécessairement. Dans ce cas, à savoir la recherche binaire sur un tableau trié, vous pouvez voir que: (a) la recherche binaire prend au plus étapes; (b) il y a des entrées qui forcent réellement autant d'étapes. Donc, si est le temps d'exécution sur une entrée du pire des cas pour la recherche binaire, vous pouvez dire que .T ( n ) T ( n ) = Θ ( log n $[\log n + 1]$$T(n)$$T(n) = \Theta(\log n)$

D'un autre côté, pour d'autres algorithmes, vous pourriez ne pas être en mesure de calculer exactement, auquel cas vous pourriez avoir un écart entre les limites supérieure et inférieure pour le temps d'exécution sur une entrée du pire des cas.$T(n)$

Maintenant, pour rechercher un tableau trié, quelque chose de plus est vrai, c'est que tout algorithme pour rechercher un tableau trié doit inspecter . Pour ce type de borne inférieure, vous devez cependant analyser le problème lui-même. (Voici l'idée: à tout moment, un algorithme de recherche n'a pas exclu un ensemble de positions où l'élément qu'il recherche peut être. Une entrée soigneusement conçue peut alors garantir que est réduit d'un facteur au maximum .)S ⊂ [ n ] | S | $[\log n + 1]$$S\subset [n]$$|S|$$2$

Vous avez raison, beaucoup de gens utilisent bâclement quand ils devraient utiliser . Par exemple, un analyste d'algorithme peut se retrouver avec une fonction temporelle et conclure immédiatement que , ce qui est techniquement correct , mais une assertion plus précise serait . J'attribue ce comportement inconscient à deux raisons. Premièrement, beaucoup considèrent comme plus populaire et plus acceptable, peut-être en raison de sa longue histoire. Rappelons qu'il a été introduit il y a plus d'un siècle, alors que (et ) n'ont été introduits qu'en 1976 (par Donald Knuth). Deuxièmement, cela pourrait être dû au fait que$O$$\Theta$$% T(n)=n^{2}+n+2$$T(n)=O(n^{2})$$T(n)=\Theta (n^{2})$$O$$\Theta$$% \Omega$$O$est facilement disponible sur le clavier, contrairement à !$\Theta$

D'un point de vue technique, cependant, la principale raison pour laquelle les analystes prudents préfèrent utiliser over est que le premier couvre "un territoire plus grand" que le second. Si nous prenons votre exemple de recherche binaire et voulons utiliser , nous devrons faire deux assertions: \ une pour le meilleur cas, à savoir , et une autre pour le pire, à savoir . Avec , nous faisons une seule assertion, à savoir . Mathématiquement, les fonctions couvertes par sont également couvertes par , alors que l'inverse n'est pas nécessairement vrai.$O$$\Theta$$\Theta$$\Theta (1)$$% \Theta (\log n)$$O$$O(\log n)$$\Theta$$O$