Die Menschenrechtsorganisation Amnesty International warnt vor dem Einsatz von Risikoprofilen und Algorithmen bei der Bewertung von Sozialleistungen. Laut Amnesty können sozial benachteiligte Menschen aufgrund falscher Dateninterpretation ihren sozialen Rückhalt verlieren.
Amnesty untersuchte die Funktionsweise der Sozialkarte in der Balkanrepublik Serbien. Diese soziale Bewertungsmethodik wurde dort im vergangenen Jahr eingeführt – mit Unterstützung der Weltbank. Die Untersuchung ergab, dass insbesondere die Roma-Gemeinschaft und Menschen mit Behinderungen durch den Einsatz dieses Algorithmus stark beeinträchtigt werden.
Einer der Nachteile bestehe darin, dass die Kundenbetreuer mehr Zeit mit der Prüfung und Eingabe von Daten verbringen, anstatt mit dem Kunden zu sprechen, heißt es.
Der Bericht wirft Fragen zum weltweiten Einsatz von Algorithmen bei der Entscheidungsfindung in sozialen Diensten auf. Amnesty betont die Notwendigkeit von Transparenz und Ethik in solchen Systemen.
Die Amnesty-Untersuchung beschreibt unter anderem den Fall einer Roma-Mutter, der Sozialleistungen entzogen wurden, weil eine Wohltätigkeitsorganisation bei der Bezahlung der Bestattungskosten ihrer Tochter geholfen hatte. In den Niederlanden gibt es Fälle, in denen die Sozialdienste ihre Leistungen einstellen oder kürzen, weil ein großzügiger Spender oder ein Familienmitglied „eine Tüte Lebensmittel“ gespendet hat.
Die Untersuchung zeigt, dass viele Menschen den Überblick verlieren, wenn sie in computergesteuerte Verfahren geraten, wie es zuvor in den Niederlanden bei den Kindergeldverfahren der Fall war. Es scheint, dass der Algorithmus die sozial Benachteiligten noch verletzlicher macht, anstatt sie wie ursprünglich beabsichtigt zu unterstützen.
Die Menschenrechtsorganisation fordert die Behörden auf, das System zu überprüfen und sicherzustellen, dass es für alle Bürger fair und gerecht ist, unabhängig von ihrer Herkunft oder Behinderung.