Risikovurdering af underretninger

Systemet var et signaturprojekt der løb fra primo 2021 til medio 2022. Systemet blev aldrig taget i brug i verserende underretningssager. Det blev udviklet og testet på historiske data om børnefamilier i Aarhus Kommune (og senere på tekst fra gamle underretninger), men da systemet var upræcist og dermed ikke egnet til forsvarligt brug i rigtige vurderinger af underretninger om børn i mistrivsel blev det aldrig taget i brug. Kommunen har heller ingen planer om at genoptage arbejdet med at risikovurdere børn ved brug af kunstig intelligens.   

Der er tale om et algoritmisk beslutningsstøtteværktøj, der laver en risikovurdering af hver enkelt sag (underretning). På baggrund af historiske data om den pågældende familie giver AI-systemet en risikoscore til den enkelte sag. Grundet juridiske udfordringer (f.eks. i forbindelse med GDPR og reglen om underretning om brug af data), forsøgte man at ændre AI-systemet. Det blev ændret til en algoritme, der kunne sortere mails, så de mest alvorlige underretningssager endte øverst i sagsbehandlerens indbakke. Det gjorde systemet ved at lede efter bestemte ord, som kunne indikere, at der var tale om en alvorlig sag. Hvis det var tilfældet, blev underretningen/mailen kategoriseret som “rød”, som dermed endte i toppen af mailbunken hos sagsbehandleren.   

Historiske data om børnefamilier i Aarhus Kommune, ca. 7.200 årlige sager. Efter ændringen af systemet brugte man tekst fra gamle underretninger til at træne algoritmen. 

Der har været stor fokus på gennemsigtighed og sporbarhed i vurderingsprocessen, så det til enhver tid var tydeligt, hvorfor en underretning blev kategoriseret som rød. Det er dog uklart, hvilke specifikke sikkerhedsforanstaltninger der er blevet implementeret. Der nævnes dog juridiske udfordringer, som relaterer til GDPR og kravene om underretning ved brug af data, hvilket antyder, at der er gjort bestræbelser på at overholde gældende databeskyttelseslovgivning. 

Systemet var en del af et pilotprojekt finansieret af Digitaliseringsstyrelsen. Teknologien var imidlertid præget af betydelige tekniske problemer, som potentielt kunne have ført til etiske og juridiske udfordringer, hvis systemet var blevet taget i brug. Disse udfordringer minder om problemer, der ofte opstår i lignende pilotprojekter, hvor man forsøger at udvikle algoritmiske værktøjer til at vurdere, om underretninger om børn i mistrivsel er så alvorlige, at en sagsbehandler skal involveres og handle. Der blev gjort forsøg på at tilpasse systemet til at fungere som en mailsorteringsalgoritme, men dette viste sig at være for upræcist og derfor uanvendeligt til egentlig sagsbehandling. 

På grund af stigningen i antal af underretninger i de seneste år har socialforvaltninger landet over været presset, og har ikke haft ressourcer nok til at kunne reagere på alle underretningerne i tide (hvilket kan være i strid med loven). Derfor har flere kommuner (herunder Aarhus) forsøgt at udvikle teknologiske hjælpemidler, der kunne hjælpe dem med at lave hurtigere sagsbehandling. 

I 2018 udviklede Gladsaxe Kommune “Gladsaxe-modellen”, som efter planen skulle bruges til at opspore udsatte børn. I samme år udviklede Aarhus Universitet og VIA University College også projektet ”Underretninger i fokus” med det formål at risikovurdere barnets situation i det øjeblik, hvor der lander en underretning på socialrådgivernes bord. Her nåede man faktisk at bruge AI-modellen på 208 børns verserende underretningssager. Man opgav dog begge projekter da de blev offentligt kendt. For i begge tilfælde lød vurderingen, at modellerne både var teknisk underlødige og sandsynligvis ulovlige.