Venez découvrir avec le laboratoire DYLIS des technologies au service d’une recherche en linguistique des langues des signes : deux techniques innovantes de captures du mouvement pour observer (Neuron) et expérimenter (OpenFace) les langues des signes !

On parle « des »  langues des signes (LS) au pluriel car il existe près de 140 LS différentes et elles concernent plusieurs dizaines de millions de locuteurs à travers le monde. La Langue des Signes Française (LSF) est une langue officielle en France depuis 2005 qui reste très peu étudiée. La LSF est historiquement la première LS à avoir été institutionnalisée grâce à l’Abbé de L’Épée au 18e siècle. William Stokoe fut quant à lui le premier linguiste en 1960 à donner un véritable statut aux LS et à les décrire comme langues à part entière. En effet, les LS apportent une autre perspective sur la fonction de langage grâce aux paramètres non-manuels (sourcils, paupières, lèvres, commissures des lèvres et la langue) et manuels (configuration, localisation et mouvement) dont elles sont composées. 

Ce programme de recherche se concentre sur les articulateurs non-manuels qui sont convoqués dans toutes les interactions orales, mais qui ont été grammaticalisées dans les LS. Les postures et les expressions du visage chez les entendants sont utilisées dans des interactions, mais elles ne sont pas utilisées de la même façon au sein des LS : elles ne sont pas ancrées dans la langue. En regardant comment les LS sont grammaticalisées, on peut mieux comprendre leurs fonctionnements. 

L’objectif de cette recherche est d’établir les prémisses d’une annotation automatique de la LSF. Par conséquent, cette recherche nécessite d’utiliser la capture de mouvement pour être plus précise. Le premier système de capture de mouvement appelé « Neuron » est composé de centrales inertielles (IMU) et chaque IMU est composée d’un accéléromètre, d'un gyroscope et d'un magnétomètre, permettant de suivre le mouvement du buste et de la tête. 

Le second système appelé « OpenFace », est un logiciel de reconnaissance faciale permettant un suivi de la face en temps réel, ou en aval de l’enregistrement. Cet outil détecte notamment les différents points de repère de la face, la variation en 3D de chaque point, ainsi que celles de la tête.