Humain, Interaction, Décision
Systèmes Numériques
Axe Humain, Interaction, DEcision (HIDE)
L’axe Humain, Interaction, DEcision (HIDE) comporte 17 permanents et une vingtaine de non permanents (dont des doctorants, des post-doctorants, des ingénieurs recrutés sur des projets et des collaborations).
L’axe HIDE s’intéresse à toute la chaîne de traitement qui va de la captation de l’information sur l’humain ou dans un système complexe utilisé par l’humain jusqu’à la prise de décision, impliquant différents travaux scientifique (signal, algorithmes d’IA, théorie de l’information) et appliquant tout ceci à diverses applications, comme le montre la figure suivante.
La figure suivante a été pensée pour illustrer la synergie des différents domaines de recherche et d’expertise au sein du groupe thématique HIDE. Sous la forme d’un cycle infini entre l’environnement augmenté et l’humain augmenté, nous avons décomposé nos domaines d’expertises en trois parties : le contrôle des données, la représentation des données complexes et la prise de décision.
Les chercheurs se fixent pour but de répondre au problème d’une meilleure connaissance de l’humain en combinant l’expertise de recherches de différents domaines (fouille de données, analyse décisionnelle, traitement du signal/d’images). Le commun de ces domaines de recherche est de travailler sur les données liées à l’humain, avec des techniques avancées telles que :
- La théorie de l’information, afin de maîtriser la capture de la données transmis par l’environnement (e.g. capteurs, caméras, saisies manuelles), d’optimiser les échanges de données entre l’humain et le système, et de sécuriser le format de la donnée traitée.
- Le traitement avancé des données, avec des modèles prédictifs et/ou évolutifs, permettant de mieux maîtriser les données d’entrées et leurs imperfections.
- Des travaux sur l’apprentissage statistique et l’apprentissage profond afin de modéliser le comportement humain, de pouvoir le prédire ou de pouvoir contrôler sa “normalité” afin de faciliter l’interaction entre l’humain et le système augmentée.
Tout ceci s’applique ensuite à différentes thématiques, que ce soit l’analyse de comportement humain à des visées médicales ou de bien-être, la sécurité des données (authenticité etc.), le jumeau numérique, ou encore les environnements virtuels ou d’apprentissage.
Thématiques de recherche
Pour répondre à ces enjeux, HIDE s’intéresse d’une part à l’analyse du comportement humain, et d’une autre part, à la qualité et la fiabilité des données qui transitent dans ces systèmes.
A. Analyse du comportement humain
Concernant l’analyse du comportement humain, HIDE s’intéresse à deux niveaux d’analyse. Au niveau individu, qui consiste à s’intéresser à l’humain en tant que tel (e.g. ses gestes, son corps) et aux interactions qu’il a avec les systèmes avec son environnement — numérique ou non.
A.1. Comportement centré sur l’humain
Dans une communication interpersonnelle, l’échange se fait avec des mots mais aussi avec le corps. Les comportements corporels sont souvent considérés comme un langage dont le code est directement interprétable. L’orientation du regard, la posture corporelle, ou les expressions faciales sont des données importantes permettant aux systèmes d’obtenir des renseignements précis sur l’intérêt et l’intention d’un humain en interaction avec eux. HIDE exploite différentes informations sous la forme d’images 2D et 3D, de graphes et de séries temporelles afin de fournir des systèmes capables d’interagir rapidement et de manière fiable et adaptée avec un humain. Et ainsi, fournir des outils d’assistance et d’aide à la décision non intrusive.
A.2. Comportement des systèmes numériques en interaction avec l’humain
L’analyse du comportement de l’humain dans un système centralisé ou/et décentralisé (de type multimédia, de télécommunications, environnements informatiques…) est nécessaire pour aider à la prise de décision et plus généralement faciliter l’interaction entre l’homme et ces systèmes.
HIDE se focalise principalement sur la détection de motifs ou d’anomalies (anomalies de fonctionnement, événements rares, falsifications…) ainsi que sur la modélisation de systèmes et leur optimisation vis-à-vis de différentes métriques telles que des distributions, des débits, une efficacité énergétique… pour améliorer leur fonctionnement (partage des ressources, coordination entre systèmes, adaptabilité par rapport à l’humain interagissant avec ces systèmes).
Les principaux outils utilisés sont des méthodes d’apprentissage automatique avancées : deep learning, reinforcement learning… et des méthodes de filtrage Bayésien comme le filtrage particulaire.
Les applications potentielles sont variées : analyse forensique et stéganalyse, allocation de ressources pour des systèmes exploitant différentes technologies émergentes, génération de jumeaux numériques….
Les solutions apportées par HIDE tendent à fournir de nouveaux systèmes collaboratifs combinant des interactions à la fois en présentiel et en distanciel et aussi de bénéficier de nouvelles solutions avancées de télétravail en s’appuyant sur des technologies de réalité virtuelle et augmentée.
B. Qualité et fiabilité des données représentant l’humain
Concernant la qualité et la fiabilité de la donnée centrée sur l’humain, HIDE se préoccupe d’une part, au format des données acquises et traitées par les systèmes pour faciliter l’interaction entre l’homme et les systèmes. Et d’une autre part, à la pertinence de ces systèmes en fonction du profil utilisateur observé (e.g. comportement, expertise).
B.1. Renforcement et adaptation des données utilisées par les systèmes
Plusieurs enjeux scientifiques interviennent autour de la donnée lorsque des systèmes sont centrés autour de l’humain. La mise en place de tels systèmes nécessite de traiter des données à caractère privée. Cela pose d’énormes problèmes d’éthique et de confidentialité qui doivent être résolus pour que le système d’analyse soit accepté et appliqué avec succès. HIDE s’intéresse au développement d’outils mathématique permettant d’une part de garantir la conformité et la confidentialité des données à caractères privée, et d’une autre part, à l’anonymisation des données sensibles.
Au-delà du caractère sensible de la donnée, HIDE se préoccupe également de la qualité des données, que ce soit au niveau de l’intégrité ou de la représentativité de la donnée. La qualité des données analysées par les systèmes à une incidence forte sur les décisions prises et sur la précision de l’interaction entre l’homme et le système.
B.2. Indicateurs de fiabilité des systèmes centré sur le profil utilisateur
Quand un humain interagit avec un système, il est important de s’interroger sur les connaissances et les compétences humaines attendues pour garantir un service adapté. Pour répondre à cette problématique, HIDE s’intéresse à la conception d’indicateurs de fiabilité. Différentes manières d’aborder le problème se pose, à la fois dans la manière dont la métrique de fiabilité est calculée mais également sa pertinence relative par rapport à la tâche proposée et au profil utilisateur interagissant avec le système. HIDE s’interroge sur plusieurs aspects comme : comment évaluer la fiabilité et l’adoption des systèmes face à différents humains ? Comment associer une sémantique à un comportement observé et calculé. Quelle visualisation de l’indicateur peut-on employer ?
Application – Projets
1 – Applications à la santé
Une partie des travaux de recherche s’articule autour de l’analyse du comportement humain en exploitant des données variées telles que les images 2D et 3D, des points caractéristiques et des séries temporelles. Des chercheurs de l’axe travaillent notamment sur l’analyse du geste, à la fois pour augmenter le niveau d’interaction entre l’homme et le système, mais également pour aider le système à adapter sa décision en fonction du comportement de l’humain. Pour analyser le comportement humain, HIDE propose des systèmes innovants exploitant l’information du mouvement corporel (style, gestuelle, expressions faciales, orientation du regard). De nouvelles pistes de collaborations (U. La Rochelle) sur des méthodes innovantes basées sur des réseaux de neurones impulsionnels et de capteurs bio-inspirés sont en préparation.
De plus, HIDE ambitionne de développer et de valider la pertinence de nouveaux systèmes autour du travail collaboratif à distance et du télétravail, reposant sur une exploitation inédite du jumeau numérique et de la réalité mixte (AR, VR). Plusieurs travaux en lien avec l’analyse du comportement humain ont été réalisés pour faciliter l’interaction entre l’humain augmenté et le système augmenté.
Quelques exemples de travaux en liens avec la santé :
- Une thèse sur l’analyse fine des gestes dans des référentiels non euclidiens (dirigée par Hazem Wannous)
- Une thèse (collaboration avec la société Hippy Medtech Systems) sur la détection de la pré-chute pour la personne âgée (dirigée par Anthony Fleury)
- Des travaux sur l’analyse de la qualité de l’air, la détection de certaines substances (type NH3), la détection d’anomalies locales et globales dans la qualité de l’air extérieure. Tous ces travaux sont exécutés dans le cadre du projet de laboratoire commun IAM Lab (avec TERA environnement et le CERI EE de l’IMT Nord Europe) (Christelle Garnier, Vincent Itier, Anne Savard, Anthony Fleury)
- Des projets, en collaboration avec l’Amérique du Sud, sur l’analyse de données pour la détection de modifications de comportements de la personne pour l’évolution des maladies chroniques ou du vieillissement. (Anthony Fleury)
2 – Applications aux transports
Plusieurs projets sont en cours en relation avec les transports et notamment avec le transport autonome. Le projet ECOTRAIN (porté en interne par Benjamin Allaert) vise à réaliser une navette légère totalement autonome et ainsi des thèses visent à réaliser des parties de ce projet comme le système d’analyse (basé sur de l’apprentissage profond) de l’environnement du train pour sa sécurité.
Le projet TASV (Train Autonome Service Voyageur), avec l’IRT Railenium, s’occupe quant à lui d’automatiser les trains classiques (TER) dans leur environnement. Pour ceci, une thèse s’intéresse par exemple aux abords des portes du train et à leur sécurité, avec des techniques d’apprentissage profonds. (Sébastien Ambellouis)
3 – Applications à la sécurité, confidentialité, fiabilité de la donnée
Les données qui transitent dans le système ne peuvent difficile être utilisées sous leur forme brute. Pour garantir une prise de décision efficace par le système, il est important de garantir que la donnée analysée par le système est confidentielle, fiable, et de bonne qualité.
Confidentialité – Dans le cadre du projet DATALEASH (Stockholm City, Karolinska Institutet, KTH – Royal Institute of Technology), centré sur la confidentialité des données, HIDE travail sur le développement d’outils d’évaluation de la privacy des algorithmes d’apprentissage (i.e. Membership privacy). Ces travaux proposent des mesures de confidentialité (variations de Maximal leakage) et cherche à étudier le compromis entre privacy et utilité. (porté par Giulia Cervia)
Fiabilité – Pour garantir la fiabilité des données, HIDE s’intéresse à l’analyse forensique d’images numériques, par analyse des artefacts. Ces méthodes reposent sur l’approche pour la résolution du problème de généralisation entre base d’entraînement et base de test pour la détection de falsifications et la stéganalyse dans des images. Des travaux autour de l’analyse forensique et du traitement dans les images chiffrées sélectivement sont également réalisés. Le projet ANR CI2(IA) porté par Vincent Itier démarre en 2023 sur ce sujet.
Sécurité – Le projet DEPOSIA s’intéresse à des méthodes d’apprentissages pour détecter des intrusions par analyse des signaux (notamment Wi-Fi par exemple). Cela s’applique tant aux environnements intérieurs qu’extérieurs avec bien sûr une plus grande complexité à l’extérieur et vise à détecter tant des attaques « radio » (Jamming), des attaques applicatives (faux points d’accès), que des intrusions d’objets comme les drônes. (Anne Savard, Anthony Fleury)
4 – Applications aux environnements informatiques pour l’apprentissage humain
HIDE s’intéresse à la représentation et à la modélisation de la donnée issue des activités d’apprentissages (traces d’apprentissages), à l’analyse de ces données centrées humains avec l’humain (learning analytics) età la définition d’indicateurs. Ces travaux se focalisent sur le raisonnement sémantique et logique, pour aboutir à des aides à la décision et des systèmes de recommandations adapté à l’humain interagissant avec le système.
Une volonté de l’axe HIDE vise à appliquer ces travaux autour de la modélisation et la résolution de problèmes complexes à visés pédagogiques (e.g. parcours scolaire individualisé avec érosion de compétences). Pour cela, des moyens sont mises en œuvre autour de la modélisation de jeux sérieux et de learning game (tangibles, numériques, VR, etc.), du meta-design des EIAH, du recueil de données multi-modale, de l’analyse de données centrées humain (learning analytics), et du participatory design (pour les learning dashboard).
Ainsi, le projet SUCCESS (I-Site) s’intéresse à la modélisation des cursus des apprenants et la relation avec l’acquisition des compétences.
Le projet ANR Jeune Chercheur (porté par Alexis Lebis) TALE4GDA porte sur la modélisation des jeux sérieux pour l’aide à la conception.
LES PROJETS
Hippy
Hippy
Le projet Hippy est un projet de collaboration, sous forme d’une thèse CIFRE, propose de travailler sur l’ajout de méthodes avancées d’analyse de données et d’intelligence artificielle pour améliorer les performances d’une ceinture permettant de détecter la pré-chute de la personne…
CROSSTECHXPERIENCE
CROSSTECHXPERIENCE
Projet CROSSTECHXPERIENCE L’écosystème transfrontalier des technologies immersives, interactives et gaming Le projet CrossTechXperience (CTX) est une initiative transfrontalière qui vise à créer un écosystème dynamique autour des technologies immersives, interactives et gaming dans les régions du nord de la France,…
Vous souhaitez en savoir plus
sur "Humain, Interaction, Décision" ?
Les équipes des Centres de Recherche d'IMT Nord Europe sont à votre écoute.
CONTACTEZ-NOUS