OMAS

Projektet løb fra primo 2022 til medio 2022. 

OMAS-systemet skulle bruges som et profileringsværktøj med brug af algoritmer. Projektet udviklede en algoritme som kom med en anbefaling til tilbud, der historisk har virket bedst på lignende borgere, ift. at komme i uddannelse eller job. Derudover blev der lavet en algoritme, som forfinede outputtet via en kategorisering af de gældende indsatser i Odense Kommune. På den måde kunne algoritmens output blive kvalificeret og bidrage med mere præcise anbefalinger. 

OMAS anvendte data fra henholdsvis DREAM-forløbsdatabasen og Odense Kommunes beskæftigelsessystem, hvor borgernes CV fra Jobnet.dk samt oplysninger om tidligere indsatser og tilbud blev hentet. Fra DREAM blev der anvendt data omkring hvornår tidligere ledige borgere havde modtaget en kendt ydelse. En borger blev antaget for at være i job i de perioder, hvor der ikke blev modtaget en ydelse. Længden af perioden fra en borger startede i en indsats eller et tilbud til at samme borger ikke længere modtog en ydelse, blev defineret i algoritmen som ”merledigheden”.  

Da CV-data blev indtastet af borgeren selv som fritekst, blev det efterfølgende nødvendigt at bearbejde dataene på en måde, som gjorde det muligt at arbejde videre med det. Derfor foretog OMAS en række transformationer, som bestod af fjernelse af stopord og uregerlige tegn, og systemet foretog en kombination af mindre sekvenser af de pågældende ord. Denne kombination blev udgangspunktet for generering af de data, der lå til grund for at kunne sammenligne borgere. De kombinerede tekstsekvenser generede en ordhyppighedsmatrice for alle CV’er. For at begrænse mængden af data, blev det begrænset til de 10.000 hyppigst forekommende tekstsekvenser, der optræder i mindst 30 forskellige CV’er. 

Der skete en filtrering af for eksempel alle grunduddannelser som folkeskoler, efterskole og lignende, hvorfor algoritmen ikke tog højde for disse. Dette var en sikkerhedsforanstaltning, som Odense Kommune lavede til den oprindelige algoritme for at sikre, at algoritmen ikke betragtede borgere der for eksempel havde gået i folkeskole, som sammenlignelige.  

Projektet drøftede også løbende dataetik. De data der indgik, var alle almindelige personoplysninger, og blandt andet på den baggrund havde projektet vurderet, at projektet forvaltede og anvendte data på en etisk forsvarlig måde. Igennem projektet blev der løbende taget stilling til blandt andet den bias, der kunne opstå ved brugen af netop disse data. De dataetiske overvejelser var blandt andet beskrevet ved hjælp af DataEthics' spørgeramme for udførelse af en dataetisk parathedstest, som har til formål at integrere dataetiske overvejelser i et projekts udviklings- og driftsprocesser, der påvirker mennesker og samfund. 

Systemet har været afprøvet gennem et pilotprojekt med navnet OMAS (Odense Match og Anbefalings- System). OMAS er en algoritme, der på baggrund af en borgers uddannelser og erhvervserfaring fandt lignende tidligere ledige borgere, der havde modtaget et tilbud indenfor de aktuelle tilbudskategorier. Baseret på hvilke tilbud de lignende borgere havde modtaget, blev der udgivet tre anbefalinger til tilbud, som potentielt kunne hjælpe borgeren til hurtigere at komme i beskæftigelse. Det var udelukkende de tre anbefalinger med lavest gennemsnitlig merledighed der blev fremstillet.

OMAS bestod overordnet af to dele: selve algoritmen og en delalgoritme, der arbejdede med at kategorisere og berige de indsatser og tilbud, der senere var output af algoritmen.  

Der blev fundet en række udfordringer med projektet, hvorfor systemet ikke blev idriftsat efter pilotafprøvningen. Værktøjet viste sig ikke at have tilstrækkelig statistisk sikkerhed eller værdiskabelse. Når OMAS udgav forslag til brugeren, gjorde den det ved at vælge de anbefalinger, hvor den gennemsnitlige merledighed var lavest. Det var problematisk, fordi knap 82 % af alle forslag baserede sig på blot én observation trods gruppering af indsatser og tilbud. Det vil sige, at der var betydelig usikkerhed behæftet med 4 ud af 5 af forslagene. Dertil kom, at det for godt 12 % af forslagene gjaldt, at usikkerheden omkring forslaget var for stor og dermed ikke statistisk signifikant. I praksis betød det, at kun 6 % af de forslag, OMAS leverede, dels baserede sig på mere end én observation, dels havde en statistisk usikkerhed, der var inden for en 95 % fejlmargin.

Selvom dette udfald stammede fra flere uhensigtsmæssigheder i algoritmen, var det formentlig overskygget af en funktion, der begrænsede data for at sikre en acceptabel køretid. Dette tydede på, at der i denne blev fjernet for mange eller forkerte CV’er. Det var ikke muligt at afhjælpe usikkerheden, men der var undervejs i projektet og i forbindelse med evalueringen identificeret en række potentialer – både i forhold til usikkerheden og i forhold til andre dele af løsningen. Det blev dog vurderet, at disse potentialer nok ikke ville kunne opveje de udfordringer, som de grundlæggende principper i modellen skabte i sidste ende.

Løsningen blev lukket i pilotafprøvningen, da projektet konstaterede, at mulighederne for at bringe den statistiske usikkerhed ned på et acceptabelt niveau var udtømt. Derfor blev anbefalingen, at der ikke blev arbejdet videre med OMAS, men i stedet blev arbejdet videre med projektets erfaringer.  

Systemet indgik i et signaturprojekt med formålet at bruge kunstig intelligens til at kunne nedbringe ledighedsperioden, mindske langtidsledighed og øge tilfredsheden med indsatsen hos de ledige. Ønskescenariet var at udarbejde en beslutningsstøtte, som skulle understøtte sagsbehandleren i hverdagen, og derfor skulle nemt kunne tages i brug af sagsbehandler og bidrage til den gode dialog med den ledige.