HumanIS (Human-centric Intelligent Systems)
Systèmes Numériques
Thématiques et verrous
La plateforme instrumentée HumanIS (Human-centric Intelligent Systems) propose des démonstrateurs mobiles et une large gamme de services valorisant les travaux du CERI SN autour des systèmes centrés sur l’humain dans les domaines suivants :
- Compréhension des activités humaines et détection des comportements anormaux
- Collaboration homme-machine par vision intelligente embarquée
- Renforcement de l’interaction humaine en environnement immersif
- Aide au maintien à domicile et suivi automatisé du dossier patient
Fonctionnant en interdisciplinarité (de la physique au traitement de données et à la perception) avec des protocoles expérimentaux immersifs, cette plateforme offre des équipements mobiles qui peuvent être utilisés entièrement à des fins d’enseignement, de recherche, ou de vulgarisation scientifique dans des salons.
Intelligence artificielle et vision embarquée
Consommation énergétique et délai de traitement
L’orientation stratégique poussée par l’IMT est celle d’une IA au service de l’industrie et de la société avec des garanties de confiance et d’efficacité. Cette orientation fait de l’IA de confiance et de l’IA embarquée des enjeux particulièrement stratégiques. En complément de l’optimisation des performances fonctionnelles de ces systèmes, notre recherche vise aussi à lever les verrous technologiques d’explicabilité, de frugalité et de robustesse notamment, qui conditionnent leur passage à l’échelle industrielle.
Collaboration Homme-Machine basée sur la vision
Représentation, visualisation et interaction
- Analyser le comportement humain pour que le système puisse identifier l’action optimale à effectuer garantissant le succès de la tâche collaborative.
- Faciliter l’interaction en optimisant les déplacements et les gestes du système.
- Optimiser la vitesse et la qualité de détection en présence de données complexes en s’appuyant sur des systèmes de vision multi capteurs.
- Renforcer le rendement d’une tâche par l’adaptation du système en fonction du niveau d’expertise de l’humain.
Autonomie des systèmes de conduite
Compréhension de la scène et prise de décision
Développer des systèmes capables d’interpréter le monde qui entoure le véhicule (signalisation, comportement) pour anticiper les risques de collision
Étudier des systèmes de captation garantissant une prise de décision fiable et rapide dans des environnements peu contraints
Proposer des outils de localisation (odométrie visuelle) permettant au véhicule de se repérer dans l’espace et d’optimiser ses déplacements
Optimiser la consommation énergétique (caméra neuromorphique, réseau de neurones à spike)
Outils d’instrumentation et d’aide à la décision
Faciliter le quotidien des experts métier
Proposer des systèmes qui s’adaptent aux besoins d’un expert sans modifier son environnement de travail ou le protocole expérimental
Garantir la conservation des données en proposant une analyse centralisée, entièrement embarquée dans l’outil d’instrumentation
Donner un retour qualitatif et quantitatif à l’expert tout en lui permettant d’interagir directement avec le système pour y apporter des modifications
Développer des systèmes intelligents capables d’inférer des résultats en temps-réel, tout en garantissant l’intégrité et la fiabilité des données
Interaction Humaine Augmentée
Système collaboratif et environnement immersif
L’émergence des technologies de réalité mixte tend à révolutionner le monde de demain en ce qui concerne la manière de travailler, de collaborer et d’interagir à distance entre les humains. Bien que les systèmes évoluent pour garantir une meilleure qualité d’immersion, les travaux se focalisent essentiellement sur l’ergonomie et la qualité visuelle offertes par ces technologies, au détriment de la qualité de l’interaction collaborative et de la sécurité des données qui transitent.
Renforcer l’interaction sociale en réalité mixte
Synchronisation entre le monde réel et virtuel
Localisation en environnements multiples statiques/dynamique (BIM)
Catégoriser les éléments du monde réel pour définir leur intérêt et prioriser leur mise à jour (optimisation du temps de traitement)
Corrélation et fusion de donnée multi-capteurs
Évaluer les avantages et les désavantages de différents paradigmes de représentation pour l’animation des utilisateurs
Conception de l’environnement mixte (réel/virtuel)
Représentation, visualisation et interaction
Reconnaissance et localisation (orientation, position) des éléments connus dans l’environnement réel
Classification automatique dans le domaine image 2D et 3D
Détection de relation inter-élément (proximité physique ou fonctionnelle)
Compréhension des activités humaines (action, intention, état affectif)
Renforcer la sécurité et la qualité des services
Qualité, sécurité et fiabilité des données
Recherche de preuves sur des supports numériques pour comprendre un comportement, remédier à un incident et aider à prendre des décisions éclairées
Garantir la confidentialité des documents échangés au sein de l’outil collaboratif (Stéganographie, stéganalyse) et éviter la fuite d’informations.
Observer la cohérence des données multimodales (image, son, texte, vidéo) sur plusieurs enregistrements, programmes ou plates-formes.
Monitoring et assistance à la personne dans son environnement
Habitat intelligent et système peu intrusif
Le maintien à domicile nécessite d’adapter le cadre de vie et d’organiser l’aide quotidienne à la personne concernée. La dégradation de l’état de santé, qu’elle soit physique ou psychique, implique la mise en place de mesures médicales à domicile. La prévention et l’anticipation d’une situation de dépendance est un levier pour retarder l’entrée des personnes âgées en établissement spécialisé. L’utilisation de l’intelligence artificielle permet majoritairement de simplifier la vie des utilisateurs. Associer à des objets de la vie quotidien, elle peut simplifier et améliorer la qualité de vie des seniors et faciliter le suivi médical pour le personnel soignant.
Marqueurs physiologiques et cognitifs
Détection précoce des comportements à risque
Identifier des anomalies comportementales en analysant l’écart d’un événement (chute, frise, …) par rapport à la signature normale du comportement humain
Analyser l’activité quotidienne (localisation, fréquence d’action, repos, postures)
Exploitation de données multimodales pour l’identification de comportements complexes (troubles, déficit de l’attention, hyperactivité)
Analyser les signaux biologiques complexes
Carte comportementale de l’activité complexe
Comprendre l’étiologie du mouvement humain (mouvement anormaux et involontaires)
Définir la signature motrice et les signatures comportementales d’une personne, dans l’objectif de détecter d’éventuelles maladies neuro-dégénératives.
Proposer des outils innovants peu intrusifs pour faire du monitoring sans modifier l’environnement du patient (ceintures, semelles, smartphones).
Outils de visualisation et d’aide à la décision
Données multi-habitants, centralisées et fiables
Proposer des métriques d’évaluations basées sur les gains perceptivo-moteurs (talents, expertise, apprentissage, habileté).
Développer des systèmes intelligents capables d’inférer des résultats en temps-réel, tout en garantissant l’intégrité et la fiabilité des données
Garantir la conservation des données en proposant une analyse centralisée, en s’appuyant sur des réseaux d’apprentissage fédérés
Proposer des systèmes qui s’adaptent aux besoins de l’expert et du patient sans modifier leurs habitudes
Équipements
La plateforme HumanIS dispose d’un matériel étendu, du plus généraliste au plus spécifique pour garantir le bon déroulement de notre recherche et de notre enseignement, couvrant plusieurs domaines disciplinaires.
Mouvement
- Système de motion capture Qualisys, 8 caméras Miqus M3
- Casque de motion capture Faceware, 2 caméras GoPro et logiciel d’analyse faciale
- Logiciel QTM (Qualisys Track Manager)
- Centrales inertielles (IMU)
- Caméras de profondeur Realsens D455
Vision embarquée
- Robot Rosmaster X3 Plus avec carte Jetson NX 8Go
- Voitures Jetracer Pro avec carte Jetson Nano
- Caméra neuromorphique DVXplorer Mini (640×480) & puce neuromorphique Loihi 2
- Bras robotique Yahboom Dofbot
- Piste de course de simulation de voiture
Santé connectée
- Système de vidéo-surveillance Bascom 8 canaux, 6 caméras dôme RGB & IR
- Semelles connectées OpenGo intégrant un IMU et 16 capteurs de pression
- Smartphone et montres connectées
- Ceinture airbag connectée (en partenariat avec Hippy medtec systems)
Environnements Immersifs
- Station avec calculateur GPU haute performance
- Casques de réalité augmentée Occulus Quest 2
- Tablettes Android Samsung
Démonstrateurs
La plateforme HumanIS dispose de plusieurs démonstrateurs auxquelles les enseignants-chercheurs et les étudiants (élève, ingénieur, doctorant et post-doctorant) ont contribué. Les démonstrateurs sont utilisés à des fins d’enseignement, de recherche, ou de vulgarisation scientifique.
ECOTRAIN – Navette autonome ferroviaire
Détection d’obstacles et simulation de données
L’ambition est de développer une navette ferroviaire ultra-légère et autonome, adaptée à la fois au transport de passagers et au micro-fret, pour relancer des lignes rurales en déshérence. Le projet, baptisé Ecotrain, a été retenu parmi les cinq premiers lauréats de l’appel national à manifestation d’intérêt « Digitalisation etdécarbonation des transports ferroviaires », dans le cadre du plan France 2030.
Analyse temps-réel des obstacles (intégré dans le véhicule)
Système de vision multi-capteurs intelligent
Identifier les éléments dans le champ de vision du véhicule et leurs relations
Analyser le comportement des obstacles vivants (humains, animaux)
Simuler des scénarios pour l’annotation automatique du risque
Analyse de la situation autour des infrastructures
Système de surveillance basse consommation
Identifier l’encombrement de la chaussée par des capteurs de vision
Anticiper le comportement des usagers au passage du véhicul
Optimiser la consommation énergétique (capteur basse consommation)
Formation e-santé : réalité augmentée et mannequin de simulation
Outil pédago-ludique sur l’anatomie humaine
En combinant l’enseignement sur mannequins de simulation et la réalité augmentée en 3D, les formateurs médicaux ont découvert les possibilités offertes par la technologie immersive et l’IA dans le développement du raisonnement clinique de leurs élèves aides-soignants. À travers cette étude de cas, les étudiants apprennent l’anatomie humaine en manipulant un mannequin de simulation dans l’environnement réel, tout en voyant des éléments virtuels superposés, respectant les contraintes physiques appliquées sur le mannequin (contraction musculaire, écoulement sanguin, …).
Système d’interaction par motion capture
Système de localisation et d’interaction en environnement complexe
Localisation des éléments dans la scène par système de motion capture et superposition des informations 3D en réalité augmentée
Renforcer le suivi des activités humaines dans un environnement complexe multi-utilisateurs
Maîtriser la latence des flux et la qualité d’interaction
Outils d’interaction et de visualisation
Système de vision multi-capteurs intelligent
Proposer des scénarios d’apprentissage pour renforcer l’immersion et la compréhension de notions complexes.
Etudier de nouvelles solutions d’interaction collaboratives à la fois dans l’environnement physique et virtuel
Vous souhaitez en savoir plus
sur "HumanIS (Human-centric Intelligent Systems)" ?
Les équipes des Centres de Recherche d'IMT Nord Europe sont à votre écoute.
CONTACTEZ-NOUS