Etik och digital matchning

Projekt
Öppen research
Pågående

Projektet syftar till att lyfta frågor om etik och hållbarhet kopplat till digital matchning.

Digital matchning – vad kan väl gå fel?

Diskussionen om etisk och oetisk matchning på arbetsmarknaden är inte ny men framväxten av digitala matchningsalgoritmer innebär dock nya perspektiv. För Arbetsförmedlingen är det värdefullt med transparens om hur dessa nya tekniker kan användas. Detta forum vill diskutera potentiella förbättringar och risker.

Med matchning på arbetsmarknaden syftar vi på de processer där arbetssökande respektive arbetsgivare samlar in och värderar information om varandra för att hitta en överensstämmelse mellan jobberbjudande och potentiell arbetskraft som är tillräckligt bra för att fullborda en rekrytering.

Matchningsprocessen kan genomföras helt datadrivet utan mänsklig inblandning, av människor helt utan digitalt stöd eller, som vanligast, genom ett samspel mellan människa och maskin. Ett vanligt missförstånd är att processen blir allt mer objektiv desto mer data och algoritmer som används. Vår utgångspunkt är att alla led i dessa processer kan leda till oetiska konsekvenser oavsett om de utförs av människor eller av digitala lösningar.

Samhällsbias och diskriminering.

För arbetsmarknaden är några av de viktigaste datakällorna platsannonser, CV-data och utbildningsbeskrivningar. Eftersom diskriminering förekommer i samhället kommer även en digital modell som tränas på sådana data riskera förstärka den diskrimineringen.

Frågan aktualiserades under 2018 då Amazons utveckling av ett maskininlärningsbaserat verktyg för bedömning av kandidater visade sig systematiskt toppranka manliga sökande.(1) En annan studie av automatiserade annonsfördelningsverktyg upptäckte att könsbias medförde att verktyget oftare fördelade högavlönade jobberbjudanden till män än till kvinnor.(2)

Omdömeskunskap missgynnas särskilt av data-drivna metoder.

Arbetsgivare söker ofta efter omdömeskunskap i relation till vad verksamheten behöver. Efterfrågad omdömeskunskap är oftast beroende av en viss verksamhetskontext, men de uttrycks sällan explicit i dataunderlaget. Därför är det svårt att fånga dem för datadrivna matchningsmetoder. Textanalysverktyg och datadrivna modeller utgår från att innebörden av ord kan hämtas direkt från den lingvistiska kontexten. De ignorerar därmed andra kontexter som är faktamässigt relevanta.

Promiskuös användning av personinformation från rekrytering.

Bemanningsbranschen samlar idag in mängder av information om arbetssökande. Förutom CV och personligt brev används ofta olika typer av personlighets-, intelligens- och värderingstester. Dessutom är det vanligt att information om individen från webben används i urvalsprocessen.

Informationen som sparas begränsas delvis av GDPR och genom den sökandes samtycke. Frågor har dock väckts om detta skydd är tillräckligt eftersom den arbetssökande befinner sig i en utsatt situation. Underförstått krävs ett samtycke från individen för att hen ska ha möjlighet att få jobbet.

Karriärkompetens och digitalt utanförskap.

Karriärkompetens, inklusive kunskap om arbetsmarknaden och hur rekrytering går till, är avgörande för att både hitta ett lämpligt jobb och lyckas bli anställd. Rekryteringen förändras av ny digital teknik: matchningsalgoritmer, AI, VR, sociala medier, rekryteringssystem, mm påverkar i allt större grad rekryteringen. Det innebär att kunskap om hur dessa tekniker fungerar blir viktig för att lyckas i jobbsökandet. Men möjligheten att få tillgång till relevant kunskap försvåras delvis av problemen med det som brukar benämnas algoritmisk transparens. Idag saknar i regel de flesta rekryteringssajter öppen information om hur deras digitala matchningsmetoder går till.

Otydligt ansvar när data-drivna modeller går fel.

Kopplat till algoritmisk transparens finns frågan om ansvarstagande, s.k. algorithmic accountability.(3) Ett rekryteringssystem som genom maskininlärning successivt justerar vem som får vilket jobb, och vad som avgör vem som får vilket jobb, har sällan en enstaka felkritisk systemdel (single-point-of-failure). När något går fel blir det därför en fråga om att fördela ansvar över en mängd aktörer. Vem bär egentligen ansvaret när ett algoritmstyrt beslut resulterar i diskriminerande eller orättvisa konsekvenser? Juridiken är ofta inte i fas med utvecklingen, vilket försvårar ansvarsutkrävandet. (4)

Referenser

  1. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scrapssecret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G
  2. Datta, A., Tschantz, M.C., Datta, A. (2015). Automated Experiments on Ad Privacy Settings – A Tale of Opacity, Choice, and Discrimination. Proceedings on Privacy Enhancing Technologies. 1: 92–112, DOI: 10.1515/popets-2015-0007.
  3. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI, https://www.sciencedirect.com/science/article/pii/S1566253519308103#fig0005
  4. Hållbar AI. Inventering av kunskapsläget för etiska, sociala och rättsliga utmaningar med artificiell intelligens. Anna Felländer et al. AI Sustainability Center. 2019.