Amnesty tutki Balkanin tasavalta Serbiassa Sosiaalisen kortin toimintaa. Tämä sosiaalisen arvioinnin menetelmä otettiin siellä käyttöön viime vuonna – Maailmanpankin tuella. Tutkimuksen mukaan erityisesti romaniväestö ja vammaiset kärsivät vakavasti algoritmin käytöstä.
Yksi haittapuoli on se, että asiakasviranomaiset käyttävät enemmän aikaa datan tarkistamiseen ja syöttämiseen kuin asiakkaiden kanssa keskusteluun, kuten raportissa todetaan.
Raportti herättää kysymyksiä algoritmien maailmanlaajuisesta käytöstä sosiaalipalveluissa tehtävässä päätöksenteossa. Amnesty korostaa läpinäkyvyyden ja etiikan tarpeellisuutta tällaisissa järjestelmissä.
Amnestyn tutkimuksessa kuvataan muun muassa tapaus romanimaisesta äidistä, jonka sosiaalietuus peruttiin, koska hyväntekeväisyysjärjestö oli osallistunut hänen tyttärensä hautauskustannuksiin. Alankomaissa on tunnettuja tapauksia, joissa sosiaalipalvelut ovat lopettaneet tai pienentäneet etuuksia, koska antelias lahjoittaja tai perheenjäsen oli tuonut "säkin ruokatarvikkeita" lahjaksi.
Tutkimuksen mukaan monet ihmiset menettävät kokonaiskuvan, kun he ovat tietokoneohjatuissa prosesseissa, kuten aiemmin Alankomaissa lapsilisäasioissa. Näyttää siltä, että algoritmi tekee sosiaalisesti heikommassa asemassa olevista vielä haavoittuvampia sen sijaan, että tukisi heitä kuten alun perin tarkoitettu.
Ihmisoikeusjärjestö kehottaa viranomaisia tarkistamaan järjestelmän ja varmistamaan, että se on reilu ja oikeudenmukainen kaikille kansalaisille, riippumatta heidän taustastaan tai vammaisuudestaan.