Développer des modèles pour la détection d’évènements de bas-niveau basés sur les textures des codes haptiques

D-BOX conçoit et fabrique des systèmes de mouvement haptique pour le cinéma maison et le cinéma en salle qui offrent une expérience immersive en générant des effets de mouvements et vibrations synchronisés avec l’action à l’écran. Les formes d’ondes d’effets haptiques utilisées pour activer les sièges sont actuellement générées manuellement à travers un processus fastidieux et complexe. La conception des effets haptiques se résume en deux étapes principales, premièrement à trouver des événements d’intérêt dans les films à supporter par les effets haptiques (détection de l’action), et en deuxième temps à générer des formes d’ondes haptiques qui correspondent aux effets voulus. Ce projet se concentre principalement sur la partie détection des actions. Le but est de développer des modèles d’apprentissage profond (Deep Learning) utilisant le son et le visuel dans les films pour détecter une série d’évènements et leurs chronologie (time-code) qui peuvent être des évènements de haut-niveau comme des coups de feu, explosions, vrombissements de moteur; ou bien des événements de bas-niveau comme ‘vibrations’, ‘mouvements’, ‘secousses’, etc. L’approche consiste à utiliser une topologie à deux flux, l’un étant basé sur le son et l’autre sur la vidéo en tant qu’entrées. Le son sera traité sous forme de spectrogrammes, ce qui permettra de traiter les deux contenus comme des images et ainsi exploiter les deux entrées pour comprendre l’action dans les films.

Faculty Supervisor:

Pierre Bellec

Student:

Partner:

D-BOX Technologies Inc.

Discipline:

Computer science

Sector:

Manufacturing

University:

Université de Montréal

Program: