Menneskerettighedsorganisationen Amnesty International advarer mod brugen af risikoprofiler og algoritmer i vurderingen af sociale ydelser. Ifølge Amnesty kan socialt udsatte mennesker miste deres sociale støtte på grund af forkert fortolkning af data.
Amnesty undersøgte funktionen af det sociale kort i Balkanrepublikken Serbien. Denne sociale vurderingsmetode blev introduceret der sidste år - med støtte fra Verdensbanken. Forskningen viste, at romasamfundet og især mennesker med handicap er alvorligt påvirket af brugen af denne algoritme.
En af ulemperne er, at klientkontaktembedsmænd bruger mere tid på at tjekke og indtaste data, frem for at tale med klienten, oplyses det.
Rapporten rejser spørgsmål om den globale brug af algoritmer i beslutningstagning i sociale tjenester. Amnesty understreger behovet for gennemsigtighed og etik i sådanne systemer.
Amnesty-undersøgelsen beskriver blandt andet sagen om en romamor, hvis sociale ydelser blev trukket tilbage, fordi en velgørenhedsorganisation havde hjulpet med at betale hendes datters begravelsesomkostninger. I Nederlandene er der tilfælde, hvor sociale tjenester har stoppet eller reduceret ydelserne, fordi en generøs donor eller et familiemedlem havde doneret "en pose dagligvarer".
Forskningen viser, at mange mister overblikket, når de ender i computerstyrede procedurer, som det tidligere var tilfældet i Holland med børnepengeprocesserne. Det ser ud til, at algoritmen gør de socialt udsatte endnu mere sårbare, i stedet for at støtte dem som oprindeligt tænkt.
Menneskerettighedsorganisationen opfordrer myndighederne til at gennemgå systemet og sikre, at det er retfærdigt og retfærdigt for alle borgere, uanset deres baggrund eller handicap.