Onlangs riep het College voor de Rechten van de Mens burgers op om het te melden als zij last hebben van discriminerende algoritmes. Een goede maar praktisch zeer ingewikkelde oproep om gehoor aan te geven. Discriminatie in algoritmes is subtiel en op een paar duidelijke uitzonderingen na alleen vast te stellen aan de hand van meer data over het systeem. Dit schrijft Joris Krijger, Ethics en AI Officer, De Volksbank, in onderstaande blog.

De aansporing vanuit het College ligt in het verlengde van het proces rond de mogelijk discriminerende gezichtsherkenningssoftware die de VU heeft ingezet bij online tentamens.

Het vaststellen van onrechtmatige discriminatie met een algoritme is echter complex. Alle algoritmes ‘discrimineren’, ze worden juist ingezet om onderscheid te maken. En alle algoritmes maken fouten.

In dit geval betreft het een direct zichtbare AI-toepassing waarvan in de literatuur al bekend is dat discriminerende vooringenomenheid een serieus probleem is: van zelfrijdende auto’s tot opsporingssoftware, het maakt structureel meer fouten waar mensen van kleur door benadeeld worden.

Maar veruit de meeste algoritmes die een rol spelen in ons dagelijks leven zijn niet of nauwelijks zichtbaar. Als je al weet dat het een algoritme is dat jou benadeeld, moet je als burger sterk in je schoenen staan om aan te tonen dat de uitkomst én onterecht is én het resultaat is van een ongerechtvaardigd onderscheid dat het algoritme maakt op basis van jouw persoonlijke kenmerken.

Dat er opgetreden moet worden tegen dit soort systemen is evident maar of burgers de meest geschikte groep is om dit probleem te signaleren lijkt mij zeer de vraag.

Alles bij de bron; DutchIT