De l’usage des datas et de l’IA

Le buzz autour de l’IA semble se cristalliser autour de deux principaux sujets : les possibilités offertes par la technologie, et les risques liés à son utilisation.

La question des risques est un sujet de choix pour les détracteurs et les récalcitrants. Nombre d’articles et de livres listent les problèmes posés par l’IA et souhaiteraient nous voir jeter le bébé avec l’eau du bain, et la baignoire au passage.

Ce qui me trouble beaucoup dans cette démarche, en dehors du danger que l’on fait courir aux bébés qui prennent leur bain, c’est que l’IA focalise l’attention, alors que le problème est humain avant tout. L’IA ne fait rien de nouveau ou de plus que d’autres systèmes précédents. Et même le terme IA est galvaudé, particulièrement dans ces cas-là.

Prenons quelques exemples.

Le plus ancien me concerne directement. Il y a une dizaine d’années, j’ai déménagé au Royaume-Uni, et j’ai voulu ouvrir un compte en banque. Nous avons choisi une banque connue et répandue. Nous avons passé quelques heures à remplir des formulaires, puis avons attendu de recevoir nos moyens de paiement. Le jour où nous les avons enfin obtenus, nous avons aussi eu un lettre nous indiquant que notre compte allait être fermé car nous n’étions pas conformes à la politique de la banque. Aucune autre information n’était donnée. Ayant noté une erreur dans le nom auquel le courrier était adressé, j’ai voulu rentrer en contact avec la banque, pour savoir quelle était la raison réelle de ce refus et vérifier s’ils n’avaient pas suivi le dossier de quelqu’un d’autre (le credit score existant dans ce pays, j’aurais pu être confondu avec une personne ayant un mauvais score). Après de multiples emails et coups de téléphone, la seule réponse que j’ai obtenu a été “le système Phoenix nous indique que nous ne pouvons pas vous octroyer un compte”. Impossible d’en savoir plus.

Ce qui m’a dérangé, en bon français habitué à la CNIL, a été de me voir opposer un mur anonyme, sans avoir aucun moyen d’accéder aux données me concernant. La banque pouvait me refuser un service, sans aucune justification ni explication. Aucune IA à cette époque, quelques recherches m’ont montré que je n’étais pas le seul à avoir des problèmes avec Phoenix, et que celui-ci était un simple système de vérification qui pouvait se déclencher pour des raisons obscures. Et bien sûr impossible de faire corriger mon dossier d’application pour que le contrôle effectué corresponde bien à ma propre situation (il reste très probable que l’erreur de nom dans le courrier de refus prouve que les données de contrôle ne me concernaient pas).

Pour l’épilogue, nous sommes allés dans une autre banque, avec le même dossier. Nous avons expliqué la situation, et après quelques échanges avons obtenu notre compte.

Je peux utiliser d’autres exemples, comme les systèmes de logement aux US qui se basent sur des données plus ou moins publiques pour déterminer si vous êtes aptes à recevoir un logement. Je ne parle pas de système de logements sociaux, mais de sociétés privées qui fournissent des service de background check pour les bailleurs privés. L’expérience malheureuse de quelques-uns a montré que, comme dans le cas de Phoenix, il est impossible d’accéder à nos propres données, de savoir quel critère nous a rendu indésirable et encore moins de pouvoir corriger les données si jamais il y a une erreur.

Ou bien pensez au système de social scoring chinois. Si vous trouvez le credit score anglo-saxon désagréable, je n’ose imaginer les dérives possibles du social scoring.

Accessoirement cela peut créer des cercles vicieux, rappelez-vous l’épisode Nosedive de Black Mirror. Tant que vous êtes un blanc mouton, gentil et hypocrite, tout va bien. Au moment où un grain de sable vous fait dérailler, tout part de travers. Votre score se dégradant, vous vous trouvez dans des situations plus compliquées (difficultés à obtenir un prêt, un travail, un billet d’avion etc…) et le risque que votre score se dégrade augmente.

Bon il s’agissait de fiction, mais finalement très proche de la réalité. Revenons au credit score américain : si votre score est mauvais, vous aurez du mal à obtenir un prêt de bonne qualité. Mais vous finirez par en obtenir un à de très mauvaises conditions, ce qui signifie souvent qu’il vous coûtera cher et que vous augmenterez le risque de défaut de paiement, même temporaire. Ce qui va dégrader votre credit score, etc. etc etc.

Mais tout ceci n’est pas lié à de l’IA. Certes, parfois ce sont des algorithmes obscurs qui ne rendent pas d’explication sur leur décision. Et ce ci doit être combattu et corrigé. Mais la plupart du temps la sélection se fait sur des critères cachés mais très simples. La discrimination existe, avec ou sans IA.

Ce à quoi il faut être attentif reste l’accès aux données et l’explicabilité des modèles.

Pour la première, nous avons en Europe le règlement RGPD qui oblige à cette transparence (et à la protection de nos données). C’est un pas dans la bonne direction, au moins dans notre juridiction.

Pour l’explicabilité des modèles, il n’existe pas encore de règle, à ma connaissance, mais cela devrait être obligatoire pour tout ce qui touche aux besoins primaires, à minima.

NB : je vous conseille la lecture de Weapons of Math Destruction, de Cathy O’Niel. A lire avec un peu de recul, mais sa démarche pour identifier les IA/algorithmes/outils nocifs est intéressante.