WIKI de Bertrand VANDEPORTAELE

Cette fonction principale peut être décomposée en 4 blocs. Tout d'abord, il faut localiser les lunettes dans la scène cartographiée. C'est le premier bloc nommé ici “lien scène et lunette”. Pour ajouter des éléments virtuels en relation avec la scène, il est nécessaire de reconnaître des éléments présents dans l'environnement réel. Cette recherche d'éléments peut être facilitée si l'on connaît déjà le type de scène (cuisine, voiture, rue), ou la commande de l'utilisateur (“lui apporter une assistance pour monter un meuble” par exemple).

Puis il est nécessaire de connaître la position des yeux et leur direction pour déterminer sur quelle partie du verre il faut faire apparaitre l'élément virtuel. Ce bloc est nommé ici “Lien yeux et lunette”.

Le troisième bloc, “Affichage sur les lunettes”, concerne l'affichage 3D dans la scène des éléments virtuels. Cette affichage 3D, doit respecter la capacité de convergence de la vision humaine (lunette binoculaire), la faculté d’accommodation des cristallins (distance de focalisation variable) et la luminosité et le contraste de la scène.

Le dernier bloc concerne l'environnement sonore. Cette partie ne sera pas développée ici.

1. Lien scène et lunette
   1. Estimation de la pose des lunettes dans la scène (localisation)
   2. Restitution 3D de la scène (cartographie)
   3. Reconnaître et suivre des objets d’intérêt
   4. Reconnaître les types de scène, l'associer à une situation, des activités. (Ceci permet de savoir quels types d'objet sont à trouver ou à reconnaitre dans la scène)
2. Lien yeux et lunette
   1. Estimation de la position et l'orientation des yeux par rapport aux lunettes
3. Affichage sur les lunettes
   1. Affichage 3D d'éléments sur les verres/filtres devant les yeux
   2. Affichage avec contrôle de la distance de focalisation
   3. Affichage d'éléments en contexte (luminosité et contraste de la scène)
4. Environnement sonore
   1. Acquisition de l'environnement sonore 3D (localisation)
   2. Reconnaissance des types de son
   3. Reconnaissance de voix et du contenu du dialogue
   4. Restitution 3D d'un son

On répertorie ensuite pour chaque fonction les informations nécessaires en entrée et les données en sorties.

1. Lien scène et lunette
   1. Fonction localisation des lunettes
      1. Entrée : scène 3D (nuage de points)
      2. Sortie : pose des lunettes (R,t)
   2. Fonction Cartographie de la scène
      1. Entrée : /
      2. Sortie : scène 3D (nuage de points)
   3. Fonction reconnaître et suivre des objets d'intérêt
      1. Entrée : type de scène, scène 3D (nuage de points), commande/action de l'utilisateur
      2. Sortie : nature de l'objet d'intérêt et leur position dans la scène
   4. Fonction reconnaitre le type de scène
      1. Entrée : scène 3D (nuage de points)
      2. Sortie : type de scène
2. Lien yeux et lunette
   1. Fonction localisation des yeux
      1. Entrée : /
      2. Sortie : pose des yeux (R,t)
3. Affichage sur les lunettes
   1. Fonction affichage d'éléments 3D
      1. Entrée : pose des yeux (R,t), pose des lunettes (R,t), position dans la scène de l'élément à afficher
      2. Sortie : position de l'élément à afficher sur les deux verres (u1,v1) et (u2,v2)
   2. Fonction contrôle de la distance de focalisation lors de l'affichage d'éléments
      1. Entrée : pose des lunettes (R,t), position dans la scène de l'élément à afficher, position de l'élément à afficher sur les deux verres (u1,v1) et (u2,v2)
      2. Sortie : distance de focalisation ajustée en fonction de la distance entre l'élément et la lunette
   3. Fonction affichage d'éléments en contexte (luminosité et contraste de la scène)
      1. Entrée : scène 3D (nuage de points, position et intensité des sources lumineuses, couleurs et contraste), position dans la scène de l'élément à afficher, position de l'élément à afficher sur les deux verres (u1,v1) et (u2,v2)
      2. Sortie : Affichage d'éléments en contexte (prise en compte de l'intensité, la direction et la couleur de l'éclairage de la scène).
4. Environnement sonore
   1. Non traité pour le moment

Pour chaque bloc, on recense les limites et les contraintes des sous fonctions. Des tests seront à réaliser pour chacune de ces remarques.

1. Lien scène et lunette
   1. A partir de quelle erreur d'estimation de la pose de la lunette, le porteur de lunette remarque une différence ?
2. Lien yeux et lunette
   1. A partir de quelle erreur d'estimation de la pose des yeux par rapport à la lunette, le porteur de lunette remarque une différence ?
3. Affichage sur les lunettes
   1. Répondre à la résolution limite de l’œil (~1 arcmin)
   2. Quel peut être l'erreur limite acceptable sur la distance de focalisation de l'élément affiché ?
   3. Quels sont les différents cas possibles où il est nécessaire de retravailler l'aspect de l'élément à afficher (fort contraste, ombres, lumière colorée qui filtre les couleurs de la scène) ?
   4. Quel peut être la tolérance du porteur de lunette à voir des objets apparaître et disparaître ?
   5. Quel est l'effet ressenti par le porteur de lunette, lorsque des éléments restent constamment dans le champs de vision ?
   6. Est-ce que la position et l'orientation des yeux a une importance sur l'affichage des éléments sur le verre ou est-ce que la position seulement importe ?
4. Environnement sonore
   1. Non traité pour le moment

Pour chacune des sous fonctions, on indique les matériels et les algorithmes possibles. Puis on répertorie les implémentations de chaque fonction par ordre de complexité (en prenant en compte que certaines des solutions sont déjà disponibles au sein du laboratoire).

1. Lien scène et lunette
   1. Fonction localisation des lunettes
      1. Outils hardware :
         1. vicon
         2. système monoculaire
         3. système binoculaire
         4. système RGBD
         5. IMU (accéléromètre, gyromètre, magnétomètre)
      2. Outils software/algorithmique :
         1. SLAM visuel, filtre de Kalman
      3. Ordre d'implémentation :
         1. position de la tête fixe et connue
         2. vicon (déjà sur étagère, grande précision sur l'estimation de pose)
         3. Système RGBD (ou système binoculaire) + IMU
   2. Fonction cartographie de la scène
      1. Outils Hardware :
         1. idem
      2. Outils Software/algorithmique :
         1. idem
      3. Ordre d'implémentation :
         1. position d'élément de la scène fixe et connue
         2. système RGBD (ou système binoculaire) + IMU
   3. Fonction reconnaître et suivre des objets d'intérêt
      1. Outils hardware : idem
      2. Outils software/algorithmique : filtre de Kalman pour l'estimation de la pose des objets
      3. Ordre d'implémentation :
         1. idem
   4. Fonction reconnaitre le type de scène
      1. Non traité pour le moment
2. Lien yeux et lunette
   1. Fonction localisation des yeux
      1. Outils hardware : eye tracker
      2. Outils software/algorithmique : pas à notre charge
      3. Ordre d'implémentation :
         1. pose des yeux fixe et connue
         2. eye tracker (Il faut être capable de récupérer R et t de la pose des yeux relativement à la lunette)
3. Affichage sur les lunettes
   1. Fonction affichage d'éléments 3D
      1. Outils hardware :
         1. filtre : afficheur LCD démonté
         2. lunette avec verre transparent et projection d'hologramme
         3. lunette immersive où on restitue en fond de scène l'environnement réel
      2. Outils software/algorithmique : géométrie projective, modèle de caméra trou d'épingle, homographie entre différent repère de travail (scène, lunette/filtre, œil)
   2. Fonction contrôle de la distance de focalisation lors de l'affichage d'éléments
      1. Non traité pour le moment
   3. Fonction affichage d'éléments en contexte (luminosité et contraste de la scène)
      1. Non traité pour le moment
4. Environnement sonore
   1. Non traité pour le moment

http://fr.ids-imaging.com/store/produkte/kameras/ensenso-n20-3d-gige.html

Kinect (issue de Microsoft, hardware design par PrimeSenze racheté par Apple)

Creative senz3d (portée de 15 à 99 cm) : http://fr.creative.com/p/web-cameras/creative-senz3d

Depth Senze 325 (par Sorftkinetic, protée de 15 à 100 cm) : http://www.softkinetic.com/Store/tabid/579/ProductID/6/language/fr-BE/Default.aspx

Camboard (par pmdtechnologies, portée 20 à 100 cm) : http://pmdtec.com/products_services/reference_design_pico_pico_s.php

Pelican camera par Pelican imaging (rachetée par Nokia, 16 lens array camera) : http://www.pelicanimaging.com/technology/camera.html

http://www.tobii.com/

nécessite une nappe pour deporter l'electronique: http://nicelcd.en.ec21.com/HAMI_8_TFT_LCD_TV--1111736_1112457.html

exemple de vp avec le hami 8: http://www.allinbox.com/vinzz/vinzz.htm

différents vp avec tft: http://www.allinbox.com/retrotft.php et http://www.allinbox.com/DIY_AUDVID/DIY_AUDVID.php

écran 7“ pour raspberry pi et convertisser HDMI/VGA: http://www.sainsmart.com/7-inch-tft-lcd-monitor-for-raspberry-pi-touch-screen-driver-board-hdmi-vga-2av-1.html

écran 7” vga: http://www.robotshop.com/eu/fr/moniteur-7-lcd-tft-1280x800-720p-haut-parleurs-hdmi-vgantscpal.html?gclid=CKD2idvxvcECFQjItAodXzcAwg

écran 128*64 pixel N/B: http://fr.farnell.com/jsp/search/browse.jsp?N=2014+202998&Ntk=gensearch&Ntt=lcd+graphique+128&Ntx=mode+matchallpartial

http://fr.farnell.com/midas/mc128064c6w-fptlw/lcd-128x64-fstn-blanc-b-l/dp/2063191

http://fr.farnell.com/batron/bthq128064avd1-cog-fstf-12-ledwhite/afficheur-lcd-graphique-128x64/dp/9449396