Amnesty a étudié en Serbie, république des Balkans, le fonctionnement de la Carte Sociale. Cette méthode d'évaluation sociale y a été introduite l'année dernière – avec le soutien de la Banque mondiale. L'enquête montre que, notamment, la communauté rom et les personnes handicapées sont gravement affectées par l'utilisation de cet algorithme.
Un des inconvénients est que les agents de contact client passent plus de temps à vérifier et saisir les données qu’à dialoguer avec les clients, selon le rapport.
Le rapport soulève des questions sur l’usage mondial des algorithmes dans la prise de décisions relatives aux prestations sociales. Amnesty insiste sur la nécessité de transparence et d’éthique dans ce type de systèmes.
L’enquête d’Amnesty décrit notamment le cas d'une mère rom dont la prestation sociale a été supprimée parce qu’une association caritative avait contribué aux frais d’obsèques de sa fillette. Aux Pays-Bas, des cas ont été signalés où les Services sociaux ont suspendu ou réduit des prestations après qu’un donateur généreux ou un membre de la famille a offert « un sac de courses ».
Selon l’enquête, de nombreuses personnes perdent le fil lorsqu’elles sont soumises à des procédures informatisées, comme cela a déjà été le cas aux Pays-Bas avec les dossiers liés aux allocations pour enfants. Il semble que l’algorithme rende les plus vulnérables encore plus fragiles au lieu de les soutenir comme initialement prévu.
L’organisation de défense des droits humains appelle les autorités à revoir ce système et à garantir qu’il soit équitable pour tous les citoyens, quelle que soit leur origine ou leur handicap.