Augmentation de la robustesse d’interaction multimédia 3D et de l’analyse de données massives pour la réalité augmentée avec les techniques d'IA - QC-136

Discipline(s) et niveau : Informatique, génie logiciel, génie informatique (Maîtrise, Doctorat ou Post-Doc)
Nom de la compagnie : Anonyme
# Stagiaires / # blocs : 3 stagiaires pour 6 blocs (2 projets). Projet 1 : 3 unités (1 pour maîtrise (4-6 mois), 2 pour PhD/Postdoc (8-12 mois)); Projet 2 : 3 unités pour PhD/Postdoc (12-18 mois)
Langue :  Aucune préférence
Lieu : Montréal, QC
Début du projet : Projet 1: dès que possible; Projet 2: début septembre 2018
Préférences : Aucune

À propos de la compagnie :

L’entreprise est située dans de la région de Montréal et est spécialisée en installations et dispositifs multimédia interactifs depuis 2000. Elle conçoit, réalise et communique des expériences scénographiques, architecturales et muséales pour toucher, émerveiller ou surprendre. L’entreprise poursuit activement depuis plusieurs années des activités de R&D dans le domaine des systèmes multimédia interactifs pour le divertissement (SMID) en espaces architecturaux et sur la gestion des flux de personnes dans ces espaces. Ces activités l’ont amené jusqu’à aujourd’hui à poursuivre sa démarche centrale en SMID par l’augmentation du niveau d’interaction et d’intelligence des installations multimédia. De multiple projets de projections d’envergures architecturales ou immersives, pour hôtel, musée, siège social d’entreprises, etc. ainsi que de multiples installations interactives spatiales, de surfaces de projections, de tables 3D, ont été déployées partout dans le monde. 

Description du ou des projet(s) : 

Dans le cadre d’un projet de recherche industrielle et des activités de l’entreprise, les candidats contribueront à la poursuite des activités de recherche et de développement reliées à une solution de captation 3D, d’interaction temps réel avec les gestes d’utilisateurs, d’identification personne-objet dans un environnement physique immersif en réalité augmentée spatiale. Les récents travaux de recherche menés sur une version de plateforme interactive ont mis en évidence la nécessité de rendre robuste la détection et la prédiction des interactions ainsi que la calibration des dispositifs de captation. La plateforme interactive fonctionne entre autres en fusionnant plusieurs caméras et systèmes de projections dispersés dans l’espace qu’il est nécessaire d’aligner précisément. Afin de garantir la meilleure précision en tout temps, il est important d’améliorer la précision des algorithmes de calibration 3D des caméras de captation et des projecteurs selon l’espace et les surfaces de projection et d’interaction. De plus, les techniques doivent être en auto-calibration sans intervention humaine ou l’utilisation de mire.

Projet 1

Le projet de recherche consiste à améliorer les techniques actuelles de calibration basée sur une méthode 2D pour la projection ainsi que celle en 3D en introduisant des techniques d’apprentissage machine pour certains aspects du processus. En particulier on désire pour une méthode automatique de détermination de paramètres intrinsèques et extrinsèques améliorer la détermination des descripteurs en fonction du type de la surface, de l’aspect 3D et de la texture. La calibration couleur et le blending d’images sont aussi sujet à être améliorés à partir de techniques d’apprentissage machine.

Projet 2

Le projet veut cibler l’utilisation d’algorithmes d’apprentissage machine qui permettraient d’augmenter le niveau d’interaction de la plateforme, à la fois pour améliorer la précision des captations de personnes (squelettes, tête, membres, visages, direction du regard), mais aussi pour fournir des prédictions sur les positions, gestes et interactions avec les éléments de l’environnement. Il est aussi souhaité de mieux détecter et gérer les faux positifs, les occlusions ou fusion de personnes et d’objets dans les espaces d’interaction. D’autre part, lors d’utilisation de données massives pour réaliser les rendus multimédia interactif et interfaces, il est nécessaire de réaliser des analyses de données massives pour faire ressortir des tendances et des prédictions sophistiquées grâce à des techniques d’apprentissage machine et réseaux de neurones profonds.

Objectifs/sous-objectifs de recherche :

Projet 1

  • Améliorer la précision et l’automatisme de méthodes de calibrations de réseaux de cameras et de projecteurs en 3D et pour des configurations d’écrans ou de surfaces architecturales complexes
  • Utiliser des techniques d’apprentissage machine pour améliorer la précision de la détermination de paramètres extrinsèques caméras/projecteurs à l’aide de techniques utilisant des descripteurs
  • Améliorer la calibration couleur et le blending en fonction de la structure 3D de l’écran et des textures

Projet 2

  • Utiliser des techniques d’intelligence artificielle (IA) pour augmenter la robustesse d’identification et de suivi d’objets et de personnes (diminuer les faux positifs) dans des espaces d’interaction 3D et de réalité augmentée (RA)
  • Augmenter la robustesse de détection de visages, de regards, de gestes et d’interactions avec : objets, mobiliers, surfaces et zones spatiales interactifs
  • Produire des probabilités d’interactions et de trajectoires d’utilisateurs avec fonction des suivis d’objets-personnes et des éléments de l’environnement
  • Améliorer la précision et la portée des analyses de tendances et de prédictions sur des données massives (flux de données médias, d’internet des objets et de divers capteurs)

Méthodologie :

Projet 1

  • Pour les objectifs de calibration, évaluer les performances actuelles de calibration et identifier les phases du processus pouvant bénéficier de techniques d’apprentissage machine pour augmenter la précision ou la robustesse. Préciser et évaluer les techniques retenues
  • Pour les objectifs de calibration, évaluer des techniques d’apprentissage machine pour la détermination de descripteurs plus appropriés selon les surfaces de projections
  • Pour les aspects de calibration couleur et de blending d’images il serait approprié de considérer des techniques d’IA pour composer avec différents types d’écrans 3D et de textures en situation réelle

Projet 2

  • Explorer et déterminer les techniques d’IA qui donneraient les meilleurs résultats pour les calibrations caméras et projecteurs, pour la détections et identifications des objets et des personnes, pour la détection du visage et du regard, et des analyses de tendances et de prédictions sur des données massives
  • Élaboration de scénarios d’expérimentation pour chaque élément : calibration, détection identification d’objets, de personnes, de visage. et de regards

Pour les deux projets

  • Développement et expérimentation de prototypes, validation de précision, de robustesse, de prédictions atteintes et des faux positifs ou autres problèmes non résolus, validations par un groupe d’utilisateurs (interactions)

Compétences recherchées :

      • Technique d’IA et d’apprentissage machine (Réseaux de neurones)
      • Calibration de réseau de caméras 2D et 3D
      • Algorithmique de vision 2D/3D
      • Techniques de filtrage
      • Programmation GPU
      • C++ / Python

      Pour plus d’information ou pour postuler :

      1. Vérifiez votre admissibilité et apprenez-en plus sur les projets ouverts.
      2. ​Remplissez ce formulaire web. Il vous sera demandé de télécharger votre CV. N’oubliez pas d’indiquer le(s) titre(s) de projet(s) pour lequel/lesquels vous êtes intéressé et d’obtenir l’accord de votre superviseur académique !
      3. Pour plus d'informations veuillez contacter Jean-Philippe Valois, à jpvalois(a)mitacs.ca.

      English version available here.

      Programme: