Nieuwe aanpak van bias in algoritmen faalt jammerlijk

Algoritmen rukken steeds verder op in allerlei besluitvormingsprocessen. De verwachting dat op die manier de beslissingen eerlijker zouden zijn omdat er geen invloed is van de voorkeuren die mensen onmiskenbaar hebben, blijkt echter keer op keer niet uit te komen.

Recourse algorithms zijn bedacht om meer transparantie te krijgen in het proces waarmee algoritmen tot hun besluit komen. Tot nog toe zijn algoritmen op basis van machinelearning-technologie doorgaans een black box, getraind op een grote hoeveelheid eerdere beslissingen. In die historische data zitten de vooroordelen besloten van de mensen die ze destijds de beslissingen namen.

Recourse algorithms (pdf) bieden  de mogelijkheid om ‘verhaal te halen’, wanneer een besluit geen recht doet aan degene over wie de beslissing wordt genomen. Door dit proces te automatiseren kunnen in principe de ongewenste effecten uit de algoritmen worden uitgebannen. Een goede ontwikkeling, lijkt het, maar recent wetenschappelijk onderzoek (pdf) voert bewijs aan dat deze aanpak niet zorgt voor een consistente verbetering van de algoritmes.

Volgens de onderzoekers gaat het systeem mank doordat de organisaties die deze algoritmen gebruiken, steeds hun modellen moeten actualiseren en trainingsdata aanpassen, en dat zorgt ervoor dat de recourse-technologie mank gaat.

Alles bij de bron; AGConnect