Billedet er generet af kunstig intelligens
Gladsaxe-modellen
Gladsaxe-modellen blev udviklet til Gladsaxe Kommune med formålet om tidlig opsporing af udsatte børn.
Beskrivelse af systemet
Systemet var tiltænkt brug i Gladsaxe Kommune til at hjælpe kommunens medarbejdere med at spore udsatte børn. Ud fra opstillede risikoindikatorer, såsom missede besøg ved tandlægen og sundhedsplejersken samt forældrenes skilsmisse og ledighed, skulle data via en algoritme udpege potentielt socialt udsatte børn. Datamodellen har dog ikke været i egentlig anvendelse til sagsbehandling på grund af manglende lovhjemmel.
I 2017 gik kommunen i gang med at udvikle modellen, men stoppede processen i 2019 efter negativ mediedækning og kritik.
Teknologien er et såkaldt prædiktivt beslutningstræ, der tildeler hver enkelt sag (børnefamilie) en risikoscore, der svarer til sandsynligheden for, at børn lever i udsathed eller mistrivsel i den enkelte familie. Hvis sandsynligheden overstiger en bestemt tærskel, skulle modellen underrette en sagsbehandler, som derefter kunne vurdere familien. Der er altså tale om et beslutningsstøttende KI-system.
For at kunne tildele familierne en risikoscore, anvendte modellen 44 variable. I en rapport fra IMR fremgår det, at de valgte variable blandt andet indebar “forældres beskæftigelsesstatus og -historik, statsborgerskab, faderskabsforhold, og forældres bopæl, samt om barnets brug af tandpleje, underretninger, pasningsforhold, og sprog.”
Et prædiktivt beslutningstræ fungerer ved at modellen vurderer den enkelte sag (borger) gennem forskellige “forgreninger”. På de enkelte grene (der svarer til en variabel) skal modellen vurdere, hvilken retning den enkelte sag skal forgrene sig. Modellen tager altså stilling til, hvad den givne oplysning om borgeren (variablen) betyder for, hvordan borgeren skal klassificeres. Forgreningerne fortsætter i nye forgreninger indtil modellen vurderer, at den kan foretage en beslutning om borgerens risiko, og modellen har dermed nået sit slutpunkt i vurderingen af borgeren.
Systemet, der blev udviklet i Gladsaxe Kommune, nåede dog aldrig at blive færdigt. For at et prædiktivt beslutningstræ skal kunne fungere optimalt, skal det gives gode “splitbetingelser” og “slutbetingelser”. En splitbetingelse er betingelsen, ud fra hvilken KI-systemet skal beslutte, om der skal laves nye forgreninger på træet. Slutbetingelsen er den betingelse systemet skal bruge til at beslutte, hvornår forgreningerne har nået sit slutpunkt, og den endelige klassificering/risikoscore kan laves. Eftersom der ikke var nok historiske data om sager med børn i mistrivsel fra kommunen, var det ikke muligt at lave gode betingelser for beslutningstræet.
Algoritmen er trænet på cirka 173.000 underretninger, som myndighederne modtog fra april 2016 til december 2017. Modellen blev udviklet til at skulle trænes på tidligere sager, hvor sagsbehandlere havde vurderet, at der var risiko for at børn i alderen 0-6 år levede i udsathed eller mistrivsel. Der var dog kun 117 sager, som kunne anvendes, og det var ikke tilstrækkeligt til, at systemet kunne trænes til at blive anvendt på fremtidige sager. Det indgik i overvejelserne om man skulle bruge sagshistorik fra andre kommuner, om man skulle hente data fra sager om ældre børn, eller om man skulle indhente data fra institutioner, som ikke hidtil var blevet brugt som variable.
Det er ikke klart hvilke sikkerhedsforanstaltninger der har været i brug, men de nævner juridiske udfordringer, som GDPR og regler om underretning om brug af data, hvilket antyder, at der blev gjort bestræbelser på at overholde lovkravene vedrørende databeskyttelse.
Systemet, der blev forsøgt udviklet i Gladsaxe Kommune, var en slags forsøgsordning, der muligvis skulle fungere som en model for tidlig opsporing af børn i mistrivsel i andre kommuner.
En af de juridiske problemstillinger, der relaterede sig til systemet, var oplysningspligt, det vil sige den af GDPR følgende pligt til at oplyse personer om, at man bruger informationer om dem. I dette tilfælde var det oplysninger om borgere, der skulle undergå vurderinger af KI-systemet. Et andet problem ved KI-systemet var dens gennemsigtighed, det vil sige gennemsigtigheden af, hvad der ligger til grund for dens beslutninger. Et prædiktivt beslutningstræ kan være meget gennemsigtigt, hvis det er simpelt sammensat, men simpliciteten kommer med den pris, at det kan blive “overtilpasset”. Med andre ord kan modellen blive for specifikt anvendelig på de data, den er trænet på, hvilket betyder, at den ikke er særlig anvendelig på nye tilfælde. Hvis man vil undgå overtilpasning, kan man sammensætte flere prædiktive beslutningstræer, som danner en “tilfældig skov”, der er mere generaliserbar end de simple beslutningstræer. Konsekvensen er dog, at en tilfældig skov er langt mindre gennemsigtig.
Udviklingen af Gladsaxe-modellen kom under massiv kritik i 2018 efter Politiken skrev om den daværende regerings plan om “at give kommuner lov til at samkøre data om børn og børnefamilier” for at lave tidlig opsporing af potentielt udsatte børn. Senere kom det frem, at Gladsaxe Kommune var kommet til at lække mere end 20.000 borgeres fortrolige oplysninger og havde begået “flere overtrædelser af databeskyttelsesreglerne blandt andet ved at samle flere persondata, end formålet med sagsbehandlingen tilsiger.” Endvidere havde kommunen “bidraget til at udsætte de lækage-ramte borgere for yderligere risici ved at føre dialog om deres sag i fuld offentlighed på Facebook”. Efter afsløringerne besluttede den daværende regering at stoppe projektet i Gladsaxe Kommune. Kommunen forsøgte dog at arbejde videre med projektet i smug – trods manglende lovgrundlag – indtil det blev afsløret og projektet endeligt blev stoppet i 2019.
At kunne lave hurtigere opsporing af udsatte børn, for at kunne lave en tidligere indsats og hjælpe børnene og deres familier.
AI-systemet "Risikovurdering af underretninger" var et signaturprojekt der løb fra 2021 til 2022 i Aarhus Kommune, og havde til formål at fungere som et beslutningsværktøj til at screene alle indkomne underretninger i børnesager. Systemet blev dog aldrig taget i brug i verserende underretningssager. Det blev udviklet og testet på historiske data om børnefamilier i Aarhus Kommune (og senere på tekst fra gamle underretninger), men da systemet var upræcist og dermed ikke egnet til forsvarligt brug i rigtige vurderinger af underretninger om børn i mistrivsel blev det aldrig taget i brug.
Derudover udviklede Aarhus Universitet og VIA University College i 2018 også en AI-model. Dette blev kaldt ‘Underretninger i Fokus’, hvor formålet imidlertid var at risikovurdere barnets situation i det øjeblik, hvor der landede en underretning på socialrådgivernes bord. Her nåede man at bruge AI-modellen på 208 børns underretningssager. Man måtte dog opgive AI-eksperimenterne, da projektet blev offentligt kendt. For vurderingen lød på, at modellen både var teknisk underlødig og sandsynligvis ulovlig.
