Le Kinect est un accessoire de la console XBox 360 de Microsoft apparu en décembre 2010. Il contient plusieurs composants dont une caméra infra-rouge et un projecteur de points permettant d’obtenir une mesure de la profondeur comme avec une caméra stéréoscopique mais sans avoir besoin d’implémenter soi-même les calculs de traitement d’images. La communauté des hackers en électronique s’est mise à l’ouvrage dès son apparition afin de fournir des pilotes libres pour d’autres usages ludiques, artistiques ou robotiques. Durant le début 2011, un étudiant de l’école d’Ingénieurs et d’architecte de Fribourg (Raphaël Guye) a réalisé une pré-analyse basée sur cet interface Kinect. Il a pu élaborer, une petite application dédiée prenant en charge le Kinect, permettant de déplacer un objet à l’écran à l’aide d’une main. Dans une première phase l’utilisateur doit calibrer le système en secouant sa main quelques secondes devant le Kinect. Dès que la calibration est effectuée l’exercice démarre.

Le curseur en forme d’arrosoir, pilotable avec la main se déplace à l’écran, selon les mouvements de l’utilisateur. Le but de l’exercice est d’amener un arrosoir, sur une fleur. L’utilisateur n’a qu’à déplacer l’arrosoir sur la fleur pour que l’exercice se termine. A ce stade une image de félicitation apparaît et un son d’applaudissement se fait entendre. Le thérapeute, peut à ce stade, relancer un nouvel exercice en pressant la touche « espace » ou quitter le programme à l’aide de la touche « escape ». La pré-analyse a été réalisée en Java (Eclipse) sur un système d’exploitation Linux. Ce prototype (GMouse) a été installé sur un ordinateur portable et mis en test durant 1 mois à la Castalie, pour déterminer la clause du besoin. La Castalie est un centre médico-éducatif, institution cantonale valaisanne qui offre à toute personne vivant avec un handicap mental un cadre de vie et de formation adapté. Personne de référence pour le test : Alain Saudan.

Les pensionnaires sont en général favorablement attirés par les ordinateurs. Ce genre de test se passe donc généralement dans de bonnes conditions. Cinq pensionnaires de la Castalie ont participés aux tests. Un seul n’avait pas la motivation et/ou les capacités d’interagir avec le système. Selon les tests effectués, l’évaluation aurait pu être plus efficiente si des paramétrages avaient été plus étoffés par rapport aux feedbacks (calibration, etc.), certains petits dysfonctionnements auraient ainsi pu être évités. Toutefois, le prototype est apparu très intéressant et de prise en main rapide et facile. Le déplacement très fin du curseur (arrosoir), permet d’amener celui-ci avec précision sur la cible (fleur). L’image et les applaudissements de récompense ont étés très appréciés par les pensionnaires. L’interaction simulée ici est inspirée du logiciel d’apprentissage « Catch Me ». De manière générale, le système détecte correctement la main. Cependant à plusieurs reprises, une autre partie du corps a été détectée à la place de la main. En déplaçant l’arrosoir sur la fleur, un pensionnaire a produit des gestes qu’il n’arrivait pas reproduire en mime. Un pensionnaire a pu utiliser la tablette de sa chaise pour supporter ses avant-bras. L’arrosoir était idéalement au bas de l’écran pour des mains au repos sur la tablette. La prise en main se révèle très bonne comparée aux autres systèmes du marché testés. Il a été clairement établi qu’une partie de la population de la Castalie, serait très intéressée par ce système. La clause du besoin semble ici clairement définie. La FST ainsi que La Castalie ont la motivation de faire évoluer ce projet et continuer les éventuels tests avec le Kinect, pour aboutir à un produit fini éventuellement commercialisable.

L’objectif du projet « Ki-Mouse » consiste en la reprise de la base élaborée par cet étudiant durant sa pré-étude ainsi que les travaux qui ont suivis avec Maël Vallat durant son service civil ayant abouti à une application C#.net, pour la faire évoluer vers une application fonctionnelle sur le système d’exploitation Windows à l’aide de la dernière version du SDK proposé par Microsoft.