Posted on

The Remote Expert

I have to admit that I came into the Remote Expert topic by accident. A customer request on the subject prodded me into investigating a few possibilities. Once I had tested some solutions, I was quickly convinced, and able to run some demos, mostly unplanned. What helped a lot is the fact that the solutions are very quick to set up and have a fast benefit for the business. The feedbacks I got while demoing to our customers completed the convincing for me.

So what is Remote Expert  (or Remote Assist)?

Lets’ imagine that you have in your structure a fleet of onsite technicians for varied tasks. Those could not be expert in every domain, nor know in advance everything they might need when they intervene in a specific environment. On the other hand, you will probably have a domain expert which will possess the necessary knowledge. However he will not be able to be present on every site he would needed on in a single day, as breakouts and interventions would never be planned as we would liek them to.

What we need is a cloning solution to have multiple instances of said expert. As human cloning is not yet ethically accepted, we need something else. And this is Remote Expert.

This solution involves the use of a mobile device on site, to share the work environnement between the technician and the expert. But more useful is the possibility to anootate and give hints and indications on that environment.

The technician may use two options:

  1. He is equipped with a mixed reality headset. In that case he may use it to share his work space, and have in his field of vision a dialog window or a shared space with the expert. They would then be able to share indications, in addition to an operations manual, for example.
  2. He has a mobile phone, compatible with AR (most of them are). He will then be able to use that device to show his view and share the annotations, in a more restricted way, but without needing specific hardware.

In short, this would come down a videoconference, with whiteboard fonctionnalities.

It is important to note that thanks to spatial anchors technologies, every annotation and indication is anchored to a physical spot in the field of vision. This allows the technician to move arount without losing the indications.

As a demo is better than a long talk, here is a screenshot of a demo that I did with some LEGO bricks:

The complete demo is here, without comments for now :

In this demo, for practical reasons, I have used the product Chalk from PTC (https://chalk.vuforia.com).

The other solution I use is Dynamics Remote Assist from Microsoft (https://dynamics.microsoft.com/en-us/mixed-reality/remote-assist/)

If you have any question regarding the products, ask me!

Posted on

Remote Expert

J’admets être venu au sujet du remote Expert par accident. Une demande client sur le sujet m’a amené à creuser quelques pistes. Une fois les quelques solutions utilisées et testées, j’avais en main de quoi effectuer simplement quelques démos, parfois de manière inopinée. J’ai été convaincu très vite du potentiel de cette solution simple à mettre en œuvre. Les quelques démos effectuées au détour d’une conférence ou d’une simple discussion montrent que les clients sont convaincus aussi.

Le Remote Expert  (ou Remote Assist), qu’est-ce que c’est?

Imaginons que vous ayez dans votre structure une flotte d’intervenants sur site pour des tâches très variées. Ceux-ci ne peuvent pas être experts dans tous les domaines, ni connaître par avance tout ce dont ils auront besoin avant d’être appelés en dépannage. D’un autre côté, vous aurez sûrement un expert du domaine, qui maitrisera parfaitement l’intervention à effectuer. Mais celui-ci ne sera pas en mesure d’être présent sur l’ensemble des sites au cours d’une journée, les pannes ne se planifiant jamais comme cela nous arrangerait.

Il faudrait donc une solution permettant à l’expert de se démultiplier. Comme le clonage humain n’est pas encore au point ni éthiquement accepté, il faut trouver autre chose. Et voici le Remote Expert.

Cette solution consiste à utiliser un appareil mobile sur le site de l’intervention, pour partager l’environnement de travail avec l’expert. Et surtout de pouvoir annoter et donner des indications sur cet environnement.

L’intervenant peut utiliser deux options :

  1. Il est équipé d’un casque de réalité mixte. Dans ce cas il peut l’utiliser pour partager son espace de travail, et avoir dans son champ de vision une fenêtre de dialogue ou de partager avec l’expert. Celle-ci permettra par exemple de montrer un schéma, ou simplement de voir le vidéo conférence.
  2. Il possède un téléphone mobile. Il pourra alors l’utiliser pour montrer ce qu’il observer, et voir partager les annotations avec l’expert. Il pourra lui aussi annoter sa vision.

En bref, cela revient à une vidéoconférence, couplée à un tableau blanc interactif.

Il est à noter que grâce à des technologies d’ancres géospatiales, toutes les annotations sont ancrées sur des objets physiques du champ de vision. Cela permet à l’intervenant de se déplacer sans perdre les indications.

Voici une capture d’écran de que cela donne, avec un petit circuit en LEGO :

Pour la vidéo complète, c’est ici :

Dans cette démo, pour des raisons purement pratiques, j’ai utilisé la solution Chalk de PTC (https://chalk.vuforia.com).

L’autre solution que j’utilise est Dynamics Remote Assist de Microsoft (https://dynamics.microsoft.com/en-us/mixed-reality/remote-assist/)

Pour les tarifs et les comparatifs, contactez-moi 🙂