TwitterFil Twitter

La nouvelle version d' #UnivMobile l’appli officielle des universités de Paris et d’IDF est sur #ProximaMobile
https://t.co/VxTqJOjjQY
#mEdu

Félicitations à l’astronaute Thomas Pesquet qui se rapproche de l’ #ISS: sa mission s’appellera PROXIMA ;) via
https://t.co/gjIZqDJXl7

Big Data et exploitation des données mobiles au service du développement
http://t.co/AY6PqdpYVP
#mSciences #mData

Sciences participatives: des applis mobiles collaboratives pour l’observation et le suivi des oiseaux
http://t.co/zTjakSVFTQ
#MobileDurable

Innovation


Quelles interfaces pour les terminaux mobiles demain ?

<p>Quelles interfaces pour</p>
<p>les terminaux mobiles </p>
<p>de demain ?</p>

Avec la montée en puissance des terminaux mobiles, les technologies de la relation homme/machine ont pris une place majeure dans les stratégies industrielles et économiques des acteurs technologiques. Le concept d’«expérience utilisateur » (en anglais UX pour User eXperience) est ainsi devenu un élément clé dans la réussite des projets mobiles. Les interfaces tactiles ont ainsi été associées aux nouvelles générations de terminaux mobiles. Ces interfaces « multi-touch » (ou encore tactile multipoint) reposaient sur des avancées conjointes dans le domaine de l’ergonomie (en établissant une grammaire gestuelle simple, rapidement perçue comme intuitive) et elles correspondaient aussi à l’arrivée à maturité de nouvelles technologies d’écrans capacitifs plus réactifs. Cependant les innovations en matière d’interfaces mobiles pourraient bientôt reposer sur d’autres champs de recherche et d’autres modalités d’interactions entre l’homme et les machines.


Reconnaissance vocale sur mobile

Longtemps décrites comme l’objectif ultime des interfaces «hommes-machines», la reconnaissance vocale s’est jusqu’ici heurtée à de nombreuses limitations. Pour reconnaître des phrases complexes, ces logiciels devaient prendre en compte le contexte dans lequel l’utilisateur se situait et lever les nombreuses ambiguïtés liées aux homophonies. Ainsi, l’usage de ces technologies est resté confiné à des secteurs spécifiques et ne s’est pas diffusé auprès du grand public. Dès 2008, des logiciels spécialisés dans la reconnaissance vocale, comme Nuance ou Dragon Go, initialement conçus pour les ordinateurs, ont été convertis en applications mobiles. En 2010, Google lançait Voice Actions qui permettait d’exécuter des tâches comme passer des appels, envoyer des messages, faire des recherches sur Google ou établir un itinéraire à partir du GPS. Au début de l’année 2011, aux États-Unis, 25% des recherches établies à partir d’un mobile Android étaient issues d’interrogations vocales.

La réponse de la société Apple est intervenue en 2010 avec l’acquisition de la société qui développait le logiciel Siri. Celui-ci permet de dialoguer en langage naturel avec l’appareil, pour exécuter certaines tâches (inscrire un rendez-vous dans l’agenda, envoyer un SMS ou effectuer une recherche sur Internet). Ce logiciel était le fruit de recherches financées par l’agence des projets de recherche avancée(DARPA) du département américain de la Défense associé à nombreuses universités (parmi lesquelles figurent Carnegie Mellon, le MIT et le Stanford Institute for Human and Machine Cognition). Ce service se situe en effet au croisement de plusieurs avancées dans le domaine de la compréhension du langage naturel, l’apprentissage machine, le raisonnement probabiliste et la représentation des connaissances. 

Cette innovation a incité d’autres développeurs à améliorer des systèmes de reconnaissance vocale existants. C’est le cas pour applications comme Vlingo ou Iris pour les utilisateurs d’Android. . Le logiciel TellMe de Microsoft (acquis avec la société du même nom en 2007) a lui été intégré dans le système d’exploitation Windows Phone. La nouvelle version de Windows Phone (Mango) devrait progressivement élargir le champ des commandes vocales. (Voir la vidéo).

L’amélioration de la reconnaissance du langage naturel va désormais de pair avec l’utilisation des technologies de l’informatique en nuage (cloud computing). Ainsi, le logiciel Siri, ne peut fonctionner que lorsque le mobile est connecté à l’Internet. Chaque requête est en effet transmise à un ordinateur distant qui l’interprète et renvoie, en retour, la réponse sur le terminal. La géolocalisation permet, par ailleurs, de s'informer du contexte dans lequel la question a été posée, permettant aux algorithmes de mieux interpréter les requêtes. Selon Ilya Bukshteyn, responsable des systèmes de reconnaissance vocale chez Microsoft, «nous arrivons à un point d'inflexion : le vocal va compter autant que l’interface tactile». Il est enfin à noter que, dans les pays du Sud, les technologies vocales sont aussi mises en œuvre pour surmonter les difficultés d'appropriation liées à l'illettrisme

La possibilité pour l’utilisateur d’énoncer des questions « à haute voix » est ainsi devenue un enjeu stratégique pour l’ensemble des acteurs de l’Internet. Ainsi, Eric Schmidt le président de Google, reconnaissait que Siri pourrait constituer une menace pour le cœur d’activité de sa société. 

Interprétation des gestes

Les premières utilisations grand public des technologies de reconnaissance des gestes ont été liées aux jeux vidéo. Tout d’abord avec la console Wii de Nintendo en 2006, puis avec le dispositif Kinect sur la Xbox de Microsoft en 2010. Désormais, les interfaces gestuelles pourraient se répandre dans d’autres domaines tels que la télévision ou même l’automobile. L'entreprise chinoise Hisense a ainsi mis au point, avec l'entreprise israélienne EyeSight une télévision fonctionnant sous Android équipée d'une caméra : son utilisateur peut d’un mouvement de la main changer de chaîne, régler le volume ou encore naviguer dans les menus. Les terminaux mobiles pourraient aussi généraliser ces technologies pour éviter à leurs usagers d’avoir à se concentrer sur l’écran du terminal. Le constructeur coréen Pantech a ainsi mis au point récemment le smartphone Vega qui embarque la technologie EyeSight. Cela permet d’étendre l’usage des terminaux mobiles à des situations qui ne permettaient pas jusqu’ici d’y avoir recours : en conduisant, en faisant la cuisine ou lorsque l’utilisateur porte des gants...


Vers des interfaces tactiles augmentées

Des ergonomes ont aussi entrepris de lister et de codifier les principales interactions tactiles avec un ou deux doigts. Le Touch Gesture Reference Guide  et l’Open Source Gesture Library  recensent et représentent visuellement les gestes de base utilisés dans les commandes tactiles. La grammaire de ces interfaces tactiles pourrait encore connaître des évolutions. En tirant parti des évolutions liées aux nouveaux materiaux utilisés pour fabriquer les écrans, les futurs écrans tactiles pourraient être sensibles à une plus grande diversité de niveaux de pression. Apple a ainsi déposé une série de brevets pour des interactions tactiles plus complexes qui prennent en compte, par exemple, l’intégralité des deux mains : paumes et tranches.

L’apparition de terminaux mobiles flexibles, comme le Kinetic de Nokia, élargit encore le spectre des interactions (cf. vidéo). Des actions comme zoomer ou dézoomer pourraient s’effectuer en pliant l’appareil vers l’intérieur ou vers l’extérieur. Le défilement d’une page en mode ascenseur («scroller») ou l’ajustement du volume sonore serait alors lié à la torsion d’un coin de l’appareil. Dans un registre proche, le Human Media Lab de la Queen's University, au Canada, travaille à la mise au point du PaperPhone dont l’écran devrait fonctionner comme une feuille de papier interactive. Son écran de 9,5 centimètres de diagonale, fin et souple, utilise un affichage à base d’encre électronique «e-ink», déjà utilisée par Amazon pour le Kindle. Décrit par ses concepteurs comme un «Smartphone flexible», il réagira aux torsions effectuées par l’utilisateur. Par exemple, le fait de corner son coin supérieur droit permettra de passer à la page suivante.

L’accessibilité des terminaux mobiles aux personnes handicapées est aussi à l’origine d’interfaces spécifiquement adaptées mais qui pourraient concerner à terme l’ensemble des utilisateurs. C’est le cas des stylets destinés aux handicapés moteurs. Les terminaux tactiles nécessitent un contact précis pour activer les différentes fonctionnalités. Pour les personnes présentant des difficultés à effectuer des mouvements précis avec les doigts, en particulier les personnes qui souffrent de déficience sensorielle dans les mains, cet obstacle peut être levé par l’utilisation de stylets qui reproduisent l’effet généré par le contact du doigt. Ces stylets peuvent aussi être utilisés quand les mains sont engourdies par le froid ou quand l’utilisateur doit porter des gants. Aux interactions classiques pourraient aussi s'ajouter des systèmes de retour d'effort (interfaces haptiques) qui par exemple permettront de guider les personnes malvoyantes.

De nouvelles formes d’interactions

Qu’il s’agisse de la reconnaissance vocale, de la reconnaissance des gestes ou encore des technologies de réalité augmentée, les interfaces sont loin d’être stabilisées. C'est en particulier le cas des interfaces tactiles qui continuent d'évoluer. Ainsi, aux améliorations dans le domaine des écrans s’ajoutent des recherches qui visent à enrichir les modes d’interaction avec les écrans eux-mêmes. Parallèlement aux améliorations des dispositifs qui permettent l’interaction avec les terminaux mobiles, c'est aussi la meilleure prise en compte du contexte dans lesquels elles sont utilisées qui permettra à ces interfaces de répondre plus efficacement aux utilisateurs. A la prise en compte de la localisation et des déplacements des utilisateurs s'ajoute désormais l’intégration progressive de leurs habitudes qui rend les réponse de ces systèmes plus proches de  leurs besoins. En plus du contexte géographique, les prochaines générations de terminaux mobiles pourraient aussi prendre en compte le contexte émotionnel ou même le niveau de stress mesuré par des biocapteurs

Premier, deuxième, troisième écran…

Plutôt que de concentrer sur un seul écran l’affichage des réponses liées aux interactions avec l’utilisateur, les concepteurs de services mobiles développent désormais des dispositifs qui permettront d’utiliser simultanément plusieurs écrans différents dont celui de la télévision. Cette méthode permet de séparer l’écran de consultation audiovisuelle et l’écran consacré aux interactions personnalisées en fonction des demandes de l’utilisateur. La société Amazon développe ainsi un service d’information en temps réel qui présente sur les terminaux mobiles des informations sur les films présentés sur l’écran de télévision. À l’instar de l’application Shazam qui affiche les titres et désormais les paroles des chansons en temps réel sur le terminal mobile, il devient possible d’afficher les informations relatives aux programmes audiovisuels sur le deuxième écran sans interférer avec l’image présentée sur le "premier écran" de la télévision. La société eBay, quant à elle, développe un service qui permet de consulter en temps réel les objets présentés dans un programme audiovisuel ou un film de fiction afin d’en faciliter l’acquisition par l’utilisateur. L’une des voies de développement des services sur les télévisions connectées sera liée à l’interaction entre les différents écrans présents dans l’environnement domestique des utilisateurs. C’est déjà le cas avec la technologie AirPlay qui permet de projeter sur l’écran de télévision les contenus consultés sur les écrans des terminaux mobiles fonctionnant sous iOS. Quant à la société Google, elle intègre désormais des applications dédiées aux télévisions connectées sur l’Android Market. Plus que la télévision elle-même connectée à l’Internet, ce sont les applications des terminaux mobiles qui pourraient ainsi « investir » les écrans des télévisions.


Vers la disparition des terminaux mobiles ?

Ce que de nombreux chercheurs envisagent désormais comme l’aboutissement de ces évolutions c’est la suppression même du terminal mobile au profit de systèmes intégrés dans l’environnement de l’utilisateur voire même affichés directement dans son champ de vision. Les fabricants d’automobiles et d’accessoires optiques travaillent déjà sur des interfaces qui pourraient supprimer la nécessité d’interagir avec un terminal dédié. Ces évolutions pourraient conduire à considérer ces terminaux mobiles « invisibles » comme une extension des capacités cognitives de leurs utilisateurs. Ce que le journal The Economist  décrivait comme la compétition pour créer un «exo-cerveau».

 

Voir aussi :

Essor de la recherche vocale sur mobiles
Synthèse vocale contextualisée pour les sourds et muets
Les avancées de la traduction instantanée sur mobile
L'État du Rajasthan en Inde s'adresse aux plus démunis par messagerie vocale
Interface tactile augmentée et reconnaissance des sons
Rendre les interfaces tactiles plus accessibles aux seniors
Le mobile comme télécommande universelle pour les seniors et les personnes à mobilité réduite
Quelles innovations mobiles pour lutter contre le handicap auditif ?
De nouvelles fonctions pour l’accessibilité des terminaux sous iOS 5
 

Crédit photographique : prototype Morph (Copyright Nokia / Cambridge Nanoscience Centre 2008)