La organización de derechos humanos Amnistía Internacional advierte contra el uso de perfiles y algoritmos de riesgo en la evaluación de beneficios sociales. Según Amnistía, las personas socialmente desfavorecidas pueden perder su apoyo social debido a una interpretación incorrecta de los datos.
Amnistía investigó el funcionamiento del Mapa Social en la República Balcánica de Serbia. Esta metodología de evaluación social se introdujo allí el año pasado, con el apoyo del Banco Mundial. La investigación demostró que la comunidad gitana y las personas con discapacidad en particular se ven gravemente afectadas por el uso de este algoritmo.
Se afirma que una de las desventajas es que los funcionarios de contacto con el cliente dedican más tiempo a comprobar e introducir datos que a hablar con el cliente.
El informe plantea dudas sobre el uso global de algoritmos en la toma de decisiones en los servicios sociales. Amnistía hace hincapié en la necesidad de transparencia y ética en dichos sistemas.
La investigación de Amnistía describe, entre otras cosas, el caso de una madre romaní a la que se le retiraron las prestaciones sociales porque una organización benéfica había ayudado a pagar los gastos del funeral de su hija. En los Países Bajos hay casos en los que los Servicios Sociales suspenden o reducen las prestaciones porque un donante generoso o un miembro de la familia ha donado "una bolsa de comestibles".
La investigación muestra que muchas personas pierden la pista cuando terminan en procedimientos controlados por ordenador, como ocurría anteriormente en los Países Bajos con los procesos de prestaciones por hijos. Parece que el algoritmo hace que los socialmente desfavorecidos sean aún más vulnerables, en lugar de apoyarlos como se pretendía originalmente.
La organización de derechos humanos pide a las autoridades que revisen el sistema y garanticen que es justo y equitativo para todos los ciudadanos, independientemente de sus antecedentes o discapacidades.