L'organisation de défense des droits humains Amnesty International met en garde contre l'utilisation de profils de risque et d'algorithmes dans l'évaluation des prestations sociales. Selon Amnesty, les personnes socialement défavorisées peuvent perdre leur soutien social en raison d'une mauvaise interprétation des données.
Amnesty a enquêté sur le fonctionnement de la carte sociale dans la République balkanique de Serbie. Cette méthodologie d’évaluation sociale y a été introduite l’année dernière – avec le soutien de la Banque mondiale. La recherche a montré que la communauté rom et les personnes handicapées en particulier sont gravement affectées par l’utilisation de cet algorithme.
L'un des inconvénients est que les agents en contact avec les clients passent plus de temps à vérifier et à saisir les données qu'à parler au client, affirme-t-on.
Le rapport soulève des questions sur l’utilisation globale des algorithmes dans la prise de décision dans les services sociaux. Amnesty souligne la nécessité de transparence et d'éthique dans de tels systèmes.
L'enquête d'Amnesty décrit, entre autres, le cas d'une mère rom à qui les prestations sociales ont été supprimées parce qu'une organisation caritative avait contribué à payer les frais funéraires de sa fille. Aux Pays-Bas, il existe des cas où les services sociaux ont interrompu ou réduit leurs prestations parce qu'un généreux donateur ou un membre de la famille avait fait don d'un « sac de courses ».
L'étude montre que de nombreuses personnes perdent le fil lorsqu'elles se retrouvent dans des procédures informatisées, comme c'était le cas auparavant aux Pays-Bas avec les procédures d'allocations familiales. Il semble que l’algorithme rend les personnes socialement défavorisées encore plus vulnérables, au lieu de les soutenir comme prévu initialement.
L'organisation de défense des droits humains appelle les autorités à revoir le système et à garantir qu'il est juste et équitable pour tous les citoyens, quels que soient leur origine ou leur handicap.