Participants :
Benoît BARDY (équipe Posture
, Professeur )
Bruno MANTEL (équipe Pointage & saisie
, Doctorant )
Introduction
 |
Comment savons nous si un objet est à portée de main ou non? Que gagnons nous à explorer activement le monde qui nous entoure? Quels bénéfices tirons-nous de la stimulation simultanée de tous nos sens ?
Dans le cadre du projet de recherche Perception intermodale de l'atteignabilité nous cherchons à comprendre la nature de l'information disponible pour la perception. Nous émettons l'hypothèse que cette information disponible ne se cantone pas aux différentes modalités mais qu'elle existe également entre les modalités sensorielles. En effet, de la même façon que les différentes énergies ambiantes qui stimulent nos sens (e.g., énergie optique, acoustique, inertielle, etc.) présentent des structures qui découlent (et donc contiennent de l'information à propos) de la configuration et de l'évolution du système animal-environnement (AE), la relation qui existe entre les énergies ambiantes possède également une structure caractéristique (et donc informative à propos) du système AE. De plus, alors que les structures énergétiques individuelles entretienne une relation équivoque et donc ambiguë avec le monde réel (e.g., à un même flux optique peuvent correspondre deux réalités distinctes et vice-versa), les structures invariantes présentes au sein du paysage énergétique global (i.e., le global array) sont elles spécifiques de la réalité et constitue donc une source potentielle d'information univoque à propos du système AE (Stoffregen & Bardy, 2001). |
|
Travaux expérimentaux
|
| Nous avons choisi d'évaluer cette proposition théorique dans le cadre de la perception des distances, qui constitue l'un des domaines de prédilection des recherches sur la vision. Partant du constat que le flux optique seul, de part sa nature "angulaire", ne permet pas de recouvrer une information métrique (i.e., dimensionnée) sur la distance égocentrique des objets, nous avons formalisé un invariant intermodal qui spécifie cette distance. En bref, les conséquences optiques du mouvement de l'individu sont dimensionnées par les conséquences gravito-inertielles de ce même mouvement pour fournir une information métrique sur la distance à laquelle se trouve un objet statique visible. En marge de ce premier modèle, nous en avons réalisé un second spécifiant cette fois la distance égocentrique entre les flux acoustique et gravito-inertiel. |
|
 |
|
Figure 1: Exemple de dispositif expérimental utilisé dans le cadre du projet
pour simuler un objet virtuel statique à un individu en mouvement. |
|
| Méthode expérimentale |
| Pour tester si l'information telle que formalisée par chacun de ces modèles est perçue et utilisée par l'être humain nous avons conduit une série d'expérimentations, pendant lesquelles nous avons manipulé la nature et la disponibilité de l'information intermodale sur la distance, grâce à un dispositif de réalité virtuelle. Les participants équipés d’un capteur de mouvement et d’écouteurs, et placés face à un écran de vidéo-projection ou coiffé d’un casque de réalité virtuelle, devait juger si l'objet qui leur était présenté était à portée de main ou non (Figure 1). Dans certaines conditions expérimentales, les participants pouvaient explorer librement la scène, tandis que dans d'autres il leur était demandé de rester immobile. Pour dépeindre un objet (virtuel) statique à une certaine distance le flux optique et/ou acoustique était adaptés en temps réel en fonction des mouvements du participant, comme l'illustre les Figures 2a et 2c, respectivement. Nous avons également manipulé le gain utilisé dans le modèle d'asservissement dans le but de vérifier si son influence sur la distance perçue correspondait aux prédictions. Nous avons également utiliser une condition expériementale où le participant immobile se voyait rejouer (en playback optique, acoustique ou optique/acoustique) ses propres mouvements à partir des essais préalablement enregistrés, pour vérifier l'hypothèse que les flux optique monoculaire et acoustique sont ambiguë par rapport à la distance égocentrique (voir Figure 2b). |
|
 |
 |
 |
|
| (a) la structure entre les flux optique et gravito-inertiel est spécifique de la distance égocentrique |
(b) la structure du flux optique seul est ambiguë par rapport à la distance égocentrique |
(c) la structure entre les flux acoustique et gravito-inertiel est spécifique de la distance égocentrique |
|
| Figure 2: Exemples de manipulations des structures intermodales autorisées par l'utilisation d'un dispositif de réalité virtuelle. |
|
| Principaux résultats expérimentaux |
| (Bientôt disponible). Xx xxxxx xxxxxxxxxxx xx xxxxx x’xxxxxxx xx xxxx xx xxxxxxxxx. Xx xxxxx xxxxxxxxxxx xx xxxxx x’xxxxxxx xx xxxx xx xxxxxxxxx. Xx xxxxx xxxxxxxxxxx xx xxxxx x’xxxxxxx xx xxxx xx xxxxxxxxx. Xx xxxxx xxxxxxxxxxx xx xxxxx x’xxxxxxx xx xxxx xx xxxxxxxxx. Xx xxxxx xxxxxxxxxxx xx xxxxx x’xxxxxxx xx xxxx xx xxxxxxxxx. Xx xxxxx xxxxxxxxxxx xx xxxxx x’xxxxxxx xx xxxx xx xxxxxxxxx. Xx xxxxx xxxxxxxxxxx xx xxxxx x’xxxxxxx xx xxxx xx xxxxxxxxx. |
|
Contexte et partenaires
|
| Cadre institutionel |
 |
|
Ce projet de recherche fait partie intégrante du Réseau Européen Enactive Interfaces (contrat IST #002114) depuis le lancement du réseau début 2004. Sous la désignation d'Enactive Reaching, il y constitue l'un des Scénarios Emblématiques identifiés par les partenaires du réseau. Piloté par le laboratoire EDM, ce projet fédère l'activité de 5 institutions autour de différentes questions telles que le rôle du mouvement et de l'intermodalité dans la perception, la psychophysique de la perception des distances, la modélisation tridimensionnelle et dynamique d'une source sonore distante, les notions de réalisme et de présence dans les simulateurs et leur évaluation quantitative. En marge de l'activité de recherche, les Scénarios Emblématiques tel Enactive Reaching servent également à illustrer l'activité du Réseau et le concept d'interface énactive lors des actions de disséminations (séminaires, démonstrations, conférences, etc.). |
|
 |
|
| Principaux partenaires |
| Fruit d'une collaboration de longue date avec le laboratoire HFRL (Université du Minnesota, devenu APAL en 2007), le projet Perception intermodale de l'atteignabilité / Enactive reaching débute en septembre 2003 au sein du CRESS (Université Paris Sud XI - Orsay). En septembre 2005, les membres du CRESS impliqués dans le projet rejoignent le laboratoire EDM (Université Montpellier-1), et amènent ainsi Enactive reaching avec eux. Fin 2005, grâce aux nombreuses interactions promues par le réseau Enactive Interfaces, EDM et HFRL/APAL décident de s'associer à des acousticiens du Département d'Ingénierie de l'Information (Université de Padoue) pour conduire une nouvelle série d'expérimentations sur la perception intermodale de la distance, en intégrant cette fois la relation entre les flux acoustique et gravito-inertiel. Cette nouvelle étude nécessite la conception, le développement et l'intégration d'une extension au dispositif expérimental existant, pour permettre le rendu temps réel d'un objet sonore virtuel. Les travaux sur le nouveau dispositif sont réalisés en 2006 et une première expérimentation commune EDM / DEI / APAL voit le jour en mars 2007. |
|
 |
 |
|
Affordance Perception-Action Laboratory
University of Minnesota, USA |
Department of Information Engineering
University of Padova, Italie |
| Contact : Thomas A. Stoffregen |
Contacts : Luca Mion, Federico Avanzini |
|
Ressources additionnelles
|
| Pour de plus amples informations sur ce projet (théorie, méthode, principaux résultats), voir la page de Bruno Mantel, ainsi que la liste des publications associées à ce projet. |
|
|
Equipes impliquées :
|
