Comment reconstruire les pixels mélangés d'un fichier vidéo?

Supposons que vous ayez un fichier vidéo dont l'ordre des pixels a été mélangé une fois. Autrement dit, un ordre aléatoire a été défini une fois et appliqué à toutes les trames.

Existe-t-il une approche connue pour récupérer l'ordre initial des pixels?

J'ai quelques idées pour récupérer la topologie initiale en plaçant des pixels dont les valeurs sont corrélées dans l'espace et le temps plus près les unes des autres. Je me demande si cela a été étudié et si des algorithmes efficaces ont été publiés.

Ce problème peut également être considéré comme un moyen de projeter sur une matrice 2D un ensemble de valeurs variant dans le temps afin de pouvoir appliquer des techniques de vision par ordinateur (comme CNN), en supposant que ces valeurs sont en effet en quelque sorte corrélées.

Il s'agit d'un fascinant problème combinatoire. Je présenterais chaque pixel en utilisant sa trajectoire temporelle complète, puis je les intégrerais dans une grille en utilisant les k voisins les plus proches. Le véritable objectif est de maximiser la probabilité que la vidéo soit une séquence d'images naturelles (de la vie réelle), que vous pouvez tester avec un classificateur, mais vous pourrez peut-être vous en tirer avec un coût de finesse; disons, la somme des différences entre les pixels adjacents. Une fois que vous avez commencé à remplir la grille, les contraintes de lissage réduiront l'espace de recherche (puisqu'un pixel devra être proche de plusieurs autres pixels), accélérant ainsi les choses, en supposant que vous utilisez une structure de données efficace pour interroger les voisins les plus proches; voir par exemple http://www.itu.dk/people/pagh/SSS/ann-benchmarks/

Il n'existe pas de solution générale à ce problème, même si nous ajoutons quelques hypothèses sur la distribution, par exemple, des couleurs et des formes dans les images ou le couplage temporel tel que des images consécutives similaires.

Problème

Laisser $F_1,\dots,F_i$ Soit le $n$ cadres originaux, chacun avec $m$pixels. Laisser$P$être la permutation qui est appliquée aux pixels de chaque image avant de les obtenir. Vous pouvez penser$P$ comme le livre de codes de l'ennemi.

Maintenant, comme entrée que nous recevons $P(F_1),\dots,P(F_n)$. Le but est de trouver la permutation inverse$Q$pour restaurer les images. Donc$QP=I$ est la carte d'identité et par exemple $Q(P(F_1))=F_1$. Notez que nous ne connaissons aucun des bons cadres$F_i$.

Laisser $Q_1,...,Q_{m!}$ Soit le $m!$ fonctions de permutation possibles du $m$ pixels.

Le but est de sélectionner l'unique $j\in\{1,\dots,m!\}$ pour que $Q_jP=I$.

Pas de solution générale

Dans notre modèle statistique, cela signifie sélectionner le $Q_j$ ce qui maximise la probabilité que $Q_j(P(F_i))$ est tiré de la même distribution que les statistiques de référence pour les images et les statistiques temporelles entre les trames consécutives $Q_j(P(F_{i})$ et $Q_j(P(F_{i+1})$ qui est notre connaissance préalable.

Il y a un contre-exemple canonique où l'ennemi vous donne un film brouillé avec deux images où tous les pixels sont de la même couleur, donc$n=2$, $F_1=F_2$ et $Q_j(F_1)=Q_j(F_2)=F1=F2$ pour chaque $j$. Ainsi, pour tous$j$, les statistiques intra-trame et inter-trames sont équiprobables pour chaque $j$ et ne nous donne aucune information pour sélectionner la permutation de vraisemblance maximale $Q_j$ (sauf dans le cas dégénéré où $m!=1$).

Ainsi, nous ne pouvons garantir l'unicité et le problème est insoluble sans autres hypothèses.

Autres hypothèses

Il est intéressant de voir si nous pouvons résoudre le problème en ajoutant plus de contraintes.

Si nous limitons l'ennemi à ne nous envoyer que des "vrais" films et en supposant qu'il y a suffisamment de pixels et d'images différents pour $Q_j$ avec une probabilité maximale existe, nous aurions encore à calculer des statistiques pour $O(m! \times n)$ images permutées pour trouver le maximum.

C'est une rupture de code par force brute.

Afin de bénéficier des réseaux de neurones, et en particulier de la rétropropagation, nous aurions besoin d'une fonction de perte différenciable par rapport à l'entrée (qui est un codage de $j$ ou notre permutation $Q_j$). La question serait alors de voir si une telle fonction peut être trouvée.

Sinon, le problème est plus similaire à la cryptanalyse dans le cas spécial où nous savons que le livre de code de l'ennemi est une permutation du texte clair (ou image claire).