Avez-vous déjà vécu la situation où vous avez cherché un objet sans remettre la main dessus ? Imaginez-vous à présent dans l’incapacité de voir les objets autour de vous. Que diriez-vous d’interroger votre smartphone comme le Génie Aladin afin qu’il retrouve l’objet pour vous ?
Cette question qui paraît anodine, nos ingénieurs se la sont posée et ont tenté d’y apporter une réponse en concevant l’application smartphone LightHouse.
La technologie à portée de tous
Qui n’a jamais égaré ses clés ou déposé machinalement un objet à un endroit et l’avoir cherché pendant quelques minutes, voire des heures ?
Pour une personne capable de s’orienter, cette perte de temps jugée inutile suscite souvent l’agacement. Pour une personne malvoyante, c’est un autre défi. Les personnes atteintes d’un handicap visuel pallient cette difficulté en utilisant leur mémoire pour retrouver leurs objets du quotidien (clés, portefeuille, etc.).
Avec l’âge, la mémoire se détériore. Elles ont donc de plus en plus de mal à se souvenir de l’endroit où se trouvent ces objets.
Nos ingénieurs et chercheurs, qui aiment optimiser leur propre temps de recherche d’objets perdus, se sont confrontés à ce problème. Ils se sont posé la question en ces termes : et si nous étions capables de concevoir une application intelligente qui permette à toute personne de retrouver un objet en questionnant son smartphone ?
Répondre à un vrai besoin
Pour que l’application puisse servir à tous, notre équipe a décidé d’adresser un public pour lequel l’application permettrait un réel bénéfice au quotidien : les personnes malvoyantes.
En France, 1,7 millions de personnes ont des troubles de la vision. Selon l’OMS le nombre de malvoyants va doubler d’ici 2050. Aujourd’hui 90% des personnes de plus de 65 ans sont malvoyantes. Il était temps d’agir !
Plus simple à dire qu’à faire ?
Le postulat de départ était donc de retrouver un objet égaré par simple interrogation vocale à son smartphone.
Pour y parvenir, l’équipe s’est attachée à déconstruire le problème… . Les domaines de compétences de chacun a permis d’élaborer des pistes qui ont conduit au premier prototype d’application, qui a été baptisée LightHouse (le phare, c.q.f.d.).
Comment ça marche ?
À l’appel de l’application LightHouse, celle-ci s’exécute et demande à l’utilisateur via un synthétiseur vocal de préciser l’objet qu’il recherche. La reconnaissance vocale saisit alors le nom de l’objet cible et initie une recherche dans l’environnement de l’utilisateur.
Des instructions concernant le positionnement correct de son smartphone sont donc énoncées à l’utilisateur de façon à balayer la scène et pour que la caméra de l’appareil soit orientée de manière optimale.
Le balayage opéré prendra fin lors de la détection de l’objet cible et sera signalé à l’utilisateur par l’intermédiaire d’un vibreur/bip sonore. Puis il se verra guidé comme un radar vers la cible.
En l’absence de détection, l’application n’imposera aucune échéance à la recherche de l’objet par l’utilisateur qui se verra attribuer une durée « illimitée » pour retrouver son objet dans le reste de son habitat.
Parlons peu, parlons bien
A ce jour, l’application LightHouse fonctionne sur PC pour profiter de sa puissance de calcul. Elle est en cours de développement sous Android. Les premiers tests utilisateurs sont en cours et devront permettre la mise en service de l’application au printemps 2020.
Les personnes malvoyantes ne seront pas les seuls utilisateurs potentiels de l’application. Le dispositif permettra aussi d’adresser les personnes présentant des troubles de la mémoire ou de la concentration.
Les séniors et les personnes atteintes de la maladie d’Alzheimer pourront aussi trouver une aide en LightHouse. Ce sont en tout cas des pistes que l’équipe travaille aussi.
Et la suite ?
Cette brique technologique qui repose sur une API de commande vocale (pour la translation speech to text et text to speech) sans connexion à Internet et sur les réseaux de neurones convolutifs pour la détection des objets, ouvre de nombreuses perspectives en termes d’utilisation.
Et l’équipe ne s’arrête pas de chercher de nouvelles idées. D’autres projets les animent déjà sur l’adaptation du dispositif et des technologies à des contextes d’usages très différents.
Aujourd’hui, cette application et ses services prometteurs sont en cours d’étude pour être déployés dans des administrations publiques.
Vous souhaitez en savoir plus ou un projet similaire pourrait vous intéresser ?
