Amélioration de la résolution d'image CSI: dans quelle mesure est-elle réelle?

J'ai donc regardé le clip Youtube d'une minute suivant de CSI New York . Dans le clip, en utilisant ce qui semble être l'enregistrement d'une caméra de banque standard, ils zooment au moins 100 et voient l'image du coupable dans le reflet de l'œil de la fille.

Maintenant, je pensais que c'était complètement ridicule, à tel point que je pensais que c'était vraiment très drôle.

Cependant, mon ami a fait valoir qu'il existe de très bonnes astuces pour l'amélioration de l'image, comme la "super résolution", une procédure où plusieurs images d'une vidéo produisent une image à résolution unique beaucoup plus élevée. Il pensait que l'émission détournait un peu la vérité, mais combien?

Honnêtement, je ne sais vraiment rien de ces choses, donc ma question est:

Quelle est la qualité de l'amélioration de la résolution d'image moderne? Aussi, à quelle distance sont les programmes de télévision CSI?

Je vous remercie,

Remarque: il s'agit d'une croix affichée sur le site des sceptiques. On m'a dit que je pourrais recevoir de meilleures réponses ici.

Réponse courte: vous pouvez obtenir de très bons résultats, mais uniquement sous certaines conditions et absolument pas même proches de ce qui est montré dans le clip vidéo lié.

Mon entreprise, Amped Software , développe des logiciels de traitement d'images et de vidéos pour les applications médico-légales et d'intelligence, nous sommes donc essentiellement l'équivalent dans le monde réel du logiciel CSI.

En ce qui concerne le problème général de l'amélioration de la qualité, je peux vous dire que pour notre marché, c'est un énorme problème de répondre aux attentes créées par les séries télévisées et les films hollywoodiens. Vous pouvez voir sur notre page d'échantillons que parfois les résultats que nous pouvons obtenir sont vraiment incroyables, mais il est important de comprendre que nous ne pouvons les obtenir que sous certaines conditions: s'il y a des informations couvertes par des perturbations, mais elles sont là , nous pouvons le récupérer. S'il n'y a pas d'informations, nous ne pouvons pas et nous ne devons pas les recréer. Dans cette application particulière, il est essentiel non seulement d'obtenir les résultats d'un point de vue visuel, mais également de suivre un workflow scientifique qui doit être accepté par le tribunal .

L'année dernière, j'ai présenté une recherche décrivant les problèmes et les résultats de près de 200 cas sur lesquels j'ai travaillé et le résultat final était le suivant:

• dans plus de 50% des cas il n'y a rien à faire (par exemple récupérer une plaque d'immatriculation de 5x2 pixels est totalement impossible avec n'importe quel logiciel du monde);
• dans environ 30% des cas, nous pouvons obtenir un petit résultat (par exemple, restaurer une lettre d'une plaque d'immatriculation ou améliorer l'apparence générale d'un visage);
• dans 10% des cas, vous obtenez de bons résultats (vous obtenez la plupart de la plaque d'immatriculation, par exemple).

Veuillez noter que tous ces cas présentaient de graves problèmes de qualité. Si leur qualité était bonne, on ne nous a pas demandé de travailler dessus.

Pour ce qui concerne spécifiquement l' amélioration de la résolution :

• lorsque vous zoomez sur une image, vous interpolez les pixels manquants: à partir d'une seule image, vous pouvez améliorer visuellement l'apparence de l'image mais vous n'ajouterez aucun détail réel ;
• les techniques de super résolution peuvent donner de bons résultats dans certaines conditions: vous devez avoir suffisamment d'images, décalées d'une quantité non entière de pixels et de préférence avec peu d'artefacts de compression. Dans le meilleur des cas, vous pouvez vous attendre à de bons résultats avec un zoom 2x et 3x.

Ce qui est montré dans le clip vidéo ne peut être possible que si la vidéo originale a été tournée à plusieurs mégapixels et que vous aurez alors la résolution de zoomer très près (plus ou moins comme vous le faites sur Google Maps). Bien sûr, à ce stade, il y aurait encore d'autres problèmes, comme la bonne mise au point, les conditions de faible luminosité, le fait que la perspective de l'œil est différente de celle de l'ensemble du sujet dans la vidéo, pour n'en mentionner que quelques-uns.

Vous ne pouvez pas faire quelque chose à partir de rien, vous devez avoir (ou deviner) des informations pour pouvoir améliorer une image de quelque manière que ce soit. Par exemple, si vous connaissez les propriétés de la fonction de flou (et qu'il n'y a pas de bruit d'image), vous pouvez réellement flouter une photo. Cependant, vous connaissez rarement la fonction de flou et le bruit est toujours présent, ce qui limite considérablement ce que vous pouvez récupérer (Adobe a récemment démontré un filtre de flou, mais leur démo était avec un flou synthétique).

En bref, CSI est une fiction presque pure - les gains possibles dans la vie réelle sont marginaux, rien de tel que l'augmentation de 5 fois la résolution présentée à la télévision.

Contrôle de santé mentale: s'ils pouvaient faire tout cela, les gens ne paieraient pas des dizaines de milliers pour plus de 40 appareils photo Hasselblad MP, il serait moins cher de simplement dupliquer le logiciel!

edit: je n'ai pas remarqué la super-résolution mentionnée dans la vidéo. La super-résolution d'images multiples est possible en réalité, mais uniquement jusqu'aux limites du capteur. Il fonctionne en utilisant un ensemble d'images avec des décalages de sous-pixels. Cela donne des informations sur les valeurs entre les pixels vous permettant de construire une image de résolution plus élevée. La super-résolution de la vidéo fonctionne car un sujet en mouvement crée le même type de décalage, mais l'apparence des objets ne doit pas changer beaucoup entre les images. La technique, au mieux, ne vous donne que les résultats d'un capteur de résolution supérieure, vous ne pouvez pas dépasser les limites du pouvoir de résolution de l'objectif, qui serait assez limité avec les objectifs CCTV.

Voici un exemple de superrésolution dans de bonnes conditions:

_{(source: wikimedia.org )}

image de photoacute.com

une amélioration de la résolution, oui, mais toujours loin des performances de niveau CSI.

Pour faire référence à mon commentaire ci-dessus, les derniers Hasselblads implémentent en fait une super-résolution de décalage de capteur, sous le nom de "capture multi-shot", de sorte que vous ne pouvez toujours pas battre les fabricants de moyen format à leur propre jeu en utilisant un logiciel intelligent ...

Voici donc ce que j'ai jusqu'à présent:

La zone de l'œil où ils voient le basket-ball est d'environ 1 millimètre carré. En fonction de la taille de la fille, nous pouvons estimer avec certitude que cela devrait être au maximum de 1 millionième du nombre total de pixels sur l'écran. (La largeur et la hauteur de l'image, bien qu'elles ne soient pas bien définies pour les photographies, car quelque chose peut être plus proche, regardez environ 3 x 3 mètres, ce qui signifierait 10 millions de millimètres carrés. L'œil peut cependant être plus proche du véritable objectif de la caméra, donc J'évalue grossièrement et je divise par 10 $.)

Si l'enregistrement était de qualité HD, ce ne serait toujours que 2 mégapixels, donc là où nous voyons le ballon de basket devrait être de la taille d'un seul pixel.

Je pense que le raisonnement montre sans aucun doute que ce n'est pas vrai, mais je me demande toujours quelles sont les limites supérieures de l'amélioration de l'image?

Il existe des logiciels disponibles dans le commerce, avec Super Resolution. Je n'ai essayé aucun de ces derniers moi-même, mais le matériel publicitaire est assez bon. Le logiciel est orienté vers la surveillance, la sécurité et les forces armées, mais je suppose que certaines unités médico-légales auront accès à ce genre de choses.

Deux exemples sont: Ikena de MotionDSP et TacitView de 2d3

L'amélioration de l'image / vidéo au niveau suggéré dans les émissions de télévision n'est tout simplement pas possible et est en fait limitée par le dispositif de capture d'image. C'est la technologie qui devrait évoluer en premier.

Il est impossible d'obtenir des informations d'une collection de 10 pixels dans un objet reconnaissable. Au niveau des pixels, c'est la quantité finale d'informations fournies dans l'image. Vous n'avez que 100 blocs de couleur dans ce zoom fini. Vous pouvez augmenter une zone de 10x10 pixels en 100x100 pixels via l'interpolation, mais les informations dans les 10x10 pixels sont tout ce qu'il y a à faire, et l'interpolation s'appuie sur des suppositions éclairées basées sur ces 10 x 10 pixels par le logiciel. Le résultat serait un flou de 100 x 100 pixels. Alternativement, prenez une image de 2000x2000 pixels et interpolez-la sur 4000x4000 pixels, et certains flous pas aussi clairs dans l'image d'origine peuvent sembler plus clairs que les objets possibles dans l'image plus grande uniquement par pareidolia - mais même alors, c'est une supposition ou une supposition. L'image interpolée donnerait "l'illusion" de plus de détails,

L'amélioration de l'image repose uniquement sur la quantité maximale d'informations capturées via la source d'imagerie d'origine, et le zoom sur les pixels est tout ce qu'il y a. Certaines caméras peuvent prendre des images de très bonne résolution, mais aucun logiciel ne peut faire ressortir des détails qui ne sont pas enregistrés dans l'image d'origine.

Maintenant, pour revenir aux émissions du CSI, la plupart d'entre elles saisissent vos images de caméra de surveillance standard, qui au départ n'ont pas une résolution particulièrement élevée de toute façon dans la vie réelle, donc quand je vois ce genre d'amélioration sur les émissions, cela me fait juste rire - car c'est impossible même avec la forme la plus avancée de logiciel de retouche d'image (et PhotoShop est bel et bien à l'extrémité supérieure de l'échelle avancée). L'amélioration de l'image et le zoom reposent à 100% sur les informations capturées par le dispositif d'imagerie - donc une caméra de surveillance capable de capturer, par exemple, un reflet du visage d'une personne sur le côté de la cornée de l'œil de quelqu'un, devrait être super puissante et serait scandaleusement chère . Le métrage devrait avoir une définition de pixels incroyablement élevée par image (disons 100 mégapixels ou environ 9,5 téraoctets pour stocker 1 seconde de métrage), ce qui ferait exploser la taille du fichier des images au point que chaque caméra de surveillance aurait besoin d'une petite batterie de serveurs pour contenir 24 heures d'images. Très cher. La technologie d'amélioration qui en résulterait s'appuierait sur des appareils de capture d'images capables d'effectuer d'abord ce niveau de capture vidéo et d'image détaillée, pour stocker les données de manière pratique, et arriver à un point où cela serait peu coûteux à déployer dans les villes. La taille du fichier serait si énormément grande sur la séquence vidéo (rappelez-vous environ 9,5 téraoctets par seconde) que le logiciel capable de le faire aurait besoin d'un supercalculateur extrêmement puissant (selon les normes d'aujourd'hui) pour fonctionner. La technologie augmentant à la vitesse qu'elle est, cela pourrait être possible à un moment donné dans le futur, probablement au cours de notre vie. Ce n'est qu'alors qu'ils pourraient le faire, mais les images ne seraient pas améliorées, ils ne feraient que zoomer sur des images super détaillées. Je le sais car je travaille dans l'imagerie numérique pour vivre à plein temps.