Selecteren met een algoritme: eerlijk of niet?

Ondanks de grote beloftes maakt artificial intelligence selectiebeslissingen niet per definitie eerlijker, zegt VU-promovenda Elmira van den Broek. Zij onderzocht de eerlijkheid van het selecteren met algoritmes binnen een grote multinational. “Bereid je er maar op voor, eerlijkheid vergt samenwerking en verloopt in fases”.

Misschien herkenbaar. Je raakt als recruiter langzaam bewierookt door nieuwe technologie die belooft dat het de effectiviteit van de werving- en selectie vergroot. Er loopt al geruime tijd een discussie of AI betere selectiebeslissingen kan maken dan de mens die geplaagd wordt door een subjectief oordeelsvermogen. Mensen laten zich in de selectie van kandidaten te veel leiden door zaken die er niet écht toe doen.

‘Veel kandidaten die door AI als succesvol werden gezien, wezen menselijke beoordelaars af.’

AI-tools laten zich niet zo makkelijk in de luren leggen en zouden daarmee objectiever, eerlijker en dus beter kan selecteren. Elmira van den Broek, verbonden aan het KIN Center for Digital Innovation aan de Vrije Universiteit Amsterdam, kreeg voor haar promotieonderzoek de unieke kans om twee jaar lang intern te mogen meelopen met een grote multinational. Ze schoof aan bij meer dan honderd meetings om te zien hoe de implementatie van een AI-gedreven selectietool in praktijk verliep.

Jullie onderzoek geeft een inkijk in hoe een grote organisatie AI adopteert. Wat wilden jullie precies weten?
“Via een aanbieder van nieuwe selectietechnologie kwamen we in contact met een van hun grootste klanten. Dit bedrijf stond aan de vooravond van het toepassen van AI-tools zoals automatische videoanalyse en gamificatie in het selectieproces. De onderzoeksfocus lag op hoe de nieuwe technologie eerlijkheid in het selectieproces van ruim 10.000 kandidaten zou beïnvloeden. Het was daarmee een ingrijpende verandering.”

Waar gaat het bij algoritmes en eerlijkheid over?
“Oneerlijk is het wanneer kandidaten op oneigenlijke gronden zouden worden afgewezen, terwijl ze wel kenmerken van een potentieel succesvolle medewerker hebben. Algoritmes berekenen met veel diverse informatie uit video en gamified assessments, in hoeverre de persoonlijkheid en vaardigheden van een kandidaat overeenkomen met succesvolle medewerkers. Dit werd voor dit bedrijf vertaald in een AI-gedreven match-score voor iedere kandidaat. Maar zijn algoritmes daarom ook eerlijker dan mensen in hun aanbevelingen?”

Je zou denken dat dat zo is. Algoritmes hebben geen onbewuste voorkeuren voor bepaalde mensen en kunnen veel meer informatie in hun beslissing verwerken dan mensen dat kunnen. Dat is dan toch per definitie eerlijker?
“Ja, dat is inderdaad de grote belofte van AI in selectie. Maar wat we in ons onderzoek zagen is dat eerlijkheid geen vaststaand gegeven is en door mensen wordt geformuleerd. Wat onder eerlijk wordt verstaan veranderde bij dit bedrijf naarmate HR, managers en ontwikkelaars met AI in de praktijk aan de slag gingen. Dat was voor ons als onderzoekers zeer boeiend. Men heeft het vaak over het aan de voorkant inbouwen van eerlijkheid in AI – ethics by design genaamd – maar dat blijkt moeilijk in praktijk.”

Welke ontwikkeling maakt de notie van eerlijkheid in AI door? Wat zag je veranderen in de gesprekken aan de vergadertafels?
“In de eerste fase zijn interne partijen, na instructie over vooroordelen en bias in menselijke besluitvorming, het vrij snel eens dat AI deze bias uit het selectieproces kan wegdrukken. Alles wat daaraan bijdraagt is eerlijker. Er is dan een gedeelde opvatting onder managers en het HR team van wat meer eerlijk is. Tegelijkertijd zie je ook dat AI het opeens mogelijk maakt om kandidaten extreem consistent te beoordelen. In de geautomatiseerde assessments werden 10.000 kandidaten per jaar op exact dezelfde criteria beoordeeld. Er zit dan weinig ruimte voor interpretatie. Het matchingalgoritme heeft het dan voor het zeggen. Interne partijen worden zich bij deze grote aantallen ineens enorm bewust van het belang van het zorgvuldig inrichten van het algoritme en moeten weer met elkaar in conclaaf. Bijvoorbeeld: welke criteria en grenswaardes hanteer je of iemand wel of niet goed genoeg is om door te gaan? Zijn we het daarover écht eens?”

Er kwam allerlei casuïstiek op tafel waarbij de matchscore die AI berekent niet strookt met het beeld dat managers hebben bij een kandidaat.

Wat gebeurde er toen de AI-selectietools daadwerkelijk live gingen?
“Er kwam allerlei casuïstiek op tafel waarbij de matchscore die AI berekent niet strookt met het beeld dat managers hebben bij een kandidaat. Dan is er bijvoorbeeld een goede stagiair die wordt aangespoord om te solliciteren op een functie, maar vervolgens een te lage matchscore heeft om door te gaan. Dat vindt een manager dan heel vreemd. Als gevolg wordt de eerlijkheid van het algoritme ter discussie gesteld en worden de selectiecriteria of de gewichten ervan heronderhandeld tussen de verschillende partijen. Dat zagen we meerdere keren gebeuren nadat de AI werd geïmplementeerd.”

Lees ook: Nieuwe sollicitatiecode eist eerlijk gebruik AI

Ondermijnt het heronderhandelen, omdat men zich niet kan vinden in de aanbeveling van het selectie-algoritme, niet de objectiviteit en dus de eerlijkheid?
“Na een jaar werd pijnlijk duidelijk dat veel kandidaten die door AI als succesvol werden gezien, consequent werden afgewezen door menselijke beoordelaars. Dat kwam tot boeiende confrontaties tussen AI-ontwikkelaars en managers, want welke beoordeling is nu beter? Die van het algoritme of van de mens? AI-ontwikkelaars gaan er met enige arrogantie vanuit dat ze tools hebben die superieur zijn aan menselijke intuïtie en beroepen zich op de analytics als belangrijkste argument voor een beslissing. En toch blijkt de domeinexpertise van HR professionals zeer belangrijk om het écht de organisatie in te krijgen. Zij moesten de matchscores vertalen naar begrijpelijke inzichten voor managers. Met alleen een analytische objectieve techbril, gaat het niet werken. Je moet toe naar een samenwerking tussen expertises om tot een werkende tool te komen.”

Wat kunnen recruiters en HR-professionals van het onderzoek leren wanneer ze voor de uitdaging staan om nieuwe AI-toepassingen te gaan inzetten?
“Ze moeten onthouden dat de domeinkennis van HR belangrijk is om het algoritme eerlijk te maken. Wees actief in de ontwikkeling ervan. Besef dat meerdere partijen in de organisatie verschillende ideeën hebben over eerlijkheid. Ga ervan uit dat het tijd kost om er samen uit te komen, en wees dus kritisch op een partij die zegt dat AI-technologie direct van de plank eerlijker is. Wat ook helpt is een matchscore niet als een mythisch getal te behandelen. Blijf nuchter, en leer te begrijpen wat de uitkomst van AI precies inhoudt en welke waarde je eraan moet geven in je selectiebeslissingen.”

Matchscores zijn niet meer leidend, maar meer een bron van extra informatie.

Is AI nu wel of niet succesvol geïmplementeerd bij deze multinational?
“Uiteindelijk heeft de organisatie in ons onderzoek de inzet van AI als succesvol bestempeld, maar ziet de toepassing er anders uit dan aanvankelijk bedacht. Matchscores zijn niet meer leidend, maar meer een bron van extra informatie. Individuele succescriteria zijn belangrijk, maar de passing in een divers team ook. Je wilt niet allemaal dezelfde soort supermensen aantrekken. HR weet dat, en kan zich op deze wijze krachtig positioneren bij de introductie van nieuwe technologie. Ik was zelf in ieder geval erg positief verrast over het leerproces van de HR professionals in deze organisatie. Ook hun werk verandert door de inzet van AI. Hoe dat precies werkt is ook een van kennisvragen in mijn proefschrift.”