SKYNET : l’outil peu fiable et potentiellement meurtrier de la NSA
SKYNET, le système de la NSA chargé de débusquer les vilains terroristes où qu’ils se cachent, pourrait bien s’avérer être un outil finalement inefficace, voire dangereux, reposant sur un modèle informatique peu fiable. Des craintes dont a fait part Patrick Ball, un expert du Human Rights Data Analysis Group, à nos confrères d’Ars Technica et qui fait depuis beaucoup de bruit.
La première fois qu’on a entendu parler de SKYNET (pour de vrai, pas au cinéma), c’était suite à la publication de documents confidentiels de la NSA par un certain Edward Snowden, en 2013. Sa raison d’être : récolter les méta-données du réseau mobile pakistanais (où se déplacent les utilisateurs, à qui ils parlent, etc.) pour ensuite tout digérer via un algorithme d’apprentissage statistique et en déduire les profils « à risque » pouvant être considérés comme des terroristes potentiels. Pour l’aider, on montre à SKYNET des profils de « vrais terroristes », histoire de bien lui expliquer à quoi ressemble un kamikaze moderne, et on lui demande simplement de débusquer des profils similaires.
Sauf que d’après Ball, il y a deux gros problèmes à cette solution de facilité. Sur le court terme, d’abord, ces profils-type de « vrais terroristes », proposés en référence à ce brave SKYNET ne sont a priori pas du tout fiables. Ce qui sous-entend tout de même un fâcheux risque de pointer du doigt des innocents un peu trop souvent (on parle d’un taux de « faux positifs » allant jusqu’à 0,18%), avec les conséquences qu’on imagine pour les personnes injustement ciblées.
Ensuite, second volet du problème, sur le long terme cette fois-ci : quid si la NSA décide un jour (si ce n’est pas déjà fait) d’accorder à SKYNET le droit de fonctionner en « circuit fermé », c’est à dire d’être à la fois juge et bourreau, et d’éliminer purement et simplement en toute autonomie ceux que l’algorithme considère plus que suspects ? Plus besoin d’intervention humaine, la machine fait tout toute seule. Avec le taux d’erreur actuel imputé au système, je vous laisse imaginer le massacre. De là à dire qu’on risquerait assez vite de voir le « judgement day » imaginé par James Cameron se transformer en réalité, il n’y a qu’un pas.
On n’en est heureusement pas encore là pour le moment, mais d’après Ball, l’injustice est déjà bien réelle, quand on sait que des milliers de gens se font probablement labelliser « poseur de bombes » alors qu’en fait, pas du tout. Si c’est à ça que ressemble la lutte anti-terroriste du futur, je ne suis pas sûr d’y adhérer.
Pour lire le long compte-rendu de cet entretien passionnant (en anglais), je vous invite à vous rendre sur le site d’Ars Technica. En tous cas, on peut dire ce qu’on veut de la NSA, on ne peut clairement pas leur ôter leur sens de l’humour, surtout quand il s’agit de nommer leurs créations. SKYNET, sérieusement ? Ultron était déjà pris ?
