Amnesty heeft voorafgaand aan de jaarlijkse VN-vergadering in New York een rapport overhandigd over het gebruik van de Nederlandse algoritmes. Ze stelt Nederland daarmee als voorbeeld van hoe het vooral niet moet.

De toeslagenaffaire heeft, zegt Amnesty, meer dan duidelijk gemaakt hoe makkelijk een overheid mensenrechten schendt en hoe groot de negatieve gevolgen zijn als te gemakkelijk een geautomatiseerde besluitvorming wordt ingevoerd...

...Amnesty concludeerde vorig jaar dat de stad Roermond door de Nationale Politie als een levend laboratorium werd gebruikt om dit soort risicomodellen te ontwikkelen. Met deze waarschuwingen is niets gedaan, concludeert de mensenrechtenorganisatie. Vorige maand oordeelde een Nederlandse rechter nog dat een selectie op etniciteit bij de douane proportioneel is.

Amnesty vreest nu dat ook andere landen op deze wijze algoritmes gaan gebruiken, vooral omdat Nederland een voorloper op dit gebied is. Er zijn genoeg lessen die uit de Nederlandse praktijk getrokken kunnen worden. 

...Wanneer algoritmes worden ingezet, moet ook volledig helder zijn welke kenmerken en persoonlijke informatie de overheid precies gebruikt voor de inzet ervan. Bij de kinderopvangtoeslag bleek dat niemand precies wist wat de geautomatiseerde beslisboom was op grond waarvan iemand wel of geen recht op de toeslag had. Zo’n black box moet verboden zijn, vindt Amnesty.

Amnesty wil bovendien dat een overheid die besluit een semi-automatisch besluitvormingsproces in te richten de logica, de noodzaak en de verwachte consequenties ervan glashelder kan uitleggen.

Alles bij de bron; Trouw