Figures

Objet

Le calcul du flot optique consiste à extraire un champ de vitesses dense à partir d'une séquence d'images en faisant l'hypothèse que l'intensité (ou la couleur) est conservée au cours du déplacement. Ce résultat peut ensuite être utilisé par d'autres applications comme la reconstruction 3D, l'interpolation temporelle de séquences d'images en tenant compte du mouvement, la segmentation et la poursuite.

Contenu

Un algorithme de calcul du flot optique basé sur l'utilisation de la programma-tion dynamique a été développé (1). Il est basé sur la recherche d'approxima-tions successives d'un champ de déplacements entre deux images qui minimise la distance L1 ou L2 entre elles tout en respectant certaines contraintes de continuité et de régularité. Pour cela, les images sont découpées en bandes parallèles et semi-recouvrantes. Chaque bande d'une image est alignée de manière optimale avec la bande correspondante de l'autre image en utilisant la programmation dynamique exactement comme cela se fait classiquement en parole pour deux représentations en bandes (temps, fréquence) d'énoncés vocaux. Les itérations se font alternativement avec des découpages horizontaux et verticaux et en réduisant à chaque étape la largeur et l'espacement des bandes. La correction du champ de déplacements se fait donc alternativement sur les composantes horizontales et verticales et avec une résolution de plus en plus fine. Cette méthode s'apparente aux méthodes classiques de type corrélation pour le calcul du flot optique. La différence est que la corrélation est recherchée ici sur des bandes élastiques au lieu d'être recherchée sur des carrés rigides. L'avantage est que la programmation dynamique fournit une mise en correspondance globale avec propagation de contraintes, ce qui est beaucoup plus robuste. Comme il est basé sur la corrélation, l'algorithme peut également être utilisé pour des images en couleur.

La méthode a été améliorée de manière à travailler non plus sur des paires d'images mais sur des séquences de longueur arbitraire. Dans ce cas, on fait l'hypothèse supplémentaire que le mouvement est constant dans la portion de séquence utilisée. On recherche alors automatiquement la paire d'images qui offre le meilleur compromis précision / distorsion (plus les images sont éloignées plus les déplacements sont précis mais si la déformation est trop importante l'algorithme commet des erreurs). De plus, on utilise successivement toutes les paires d'images intermédiaires au cours de la recherche itérative.

Situation

Des mesures de performances quantitatives ont été effectuées avec des séquences d'images classiquement utilisées par la communauté scientifique pour le test des méthodes de flot optique (disponibles sur le site ftp://csd.uwo.ca/pub/vision). Nous avons obtenu les meilleurs résultats sur les sept séquences synthétiques calibrées. La figure 1 montre les champs de vitesses obtenus sur les quatre séquences réelles. Première séquence : déplacement latéral de la caméra avec point fixe au loin. Deuxième séquence : déplacement de la caméra vers la scène. Troisième séquence : rotation du plateau. Quatrième séquence : trois véhicules se déplacent mais l'un est masqué par l'arbre (immobile).

Diverses améliorations sont actuellement en cours d'étude. L'une d'elles consiste à uti-liser simultanément toutes les images intermédiaires entre les images extrêmes sélectionnées au lieu d'utiliser successivement toutes les paires (ceci passe par la définition d'une mesure de cor-rélation concernant plus de deux éléments). Une autre concerne la recherche des déplacements avec une résolution inférieure au pixel. Diverses applications utilisant les résultats du calcul du flot optique sont également en cours de développement : reconstruction 3D, interpolation d'images et segmentation coopérative contours / régions / mouvement.

Références

(1) G. Quénot : "The "Orthogonal Algorithm" for Optical Flow Detection using Dynamic Programming". ICASSP, Vol. 3, pp 249-252, San Fransisco, CA,, March 1992.

Gpe Interaction et Multi-Modalités		DptCHM		Sommaire		Présentation