Når sagsbehandlere arbejder i den fælleskommunale fagløsning Kommunernes Sygedagpengesystem (KSD), er der flere forskellige steder de kan søge hjælp til betjening af systemet. Udover diverse guides samt et hjælpesystem inde i selve systemet, kan sagsbehandlerne tilgå en omfattende brugervejledning. Snart får sagsbehandlerne endnu et værktøj, de kan gøre brug af, når de har brug for hjælp og vejledning.
Med implementeringen af en AI-assistent i KSD-løsningen vil KOMBIT nemlig gøre den nuværende brugervejledning mere tilgængelig – særligt for nye brugere som skal oplæres i at anvende KSD. Derudover skal AI-assistenten også hjælpe med at besvare spørgsmål om lovgivningen på sygedagpengeområdet.
Formålet med AI-assistenten er ikke at automatisere sagsbehandlingen, og AI-assistenten er blot et hjælpeværktøj som ikke kan erstatte den menneskelige sagsbehandling. Til gengæld kan den gøre det nemmere for sagsbehandlerne at søge information i de gældende vejledninger relateret til KSD og lovgivningen på området.
”Målet er at bruge AI til at facilitere en bedre rådgivning fra løsningens side af sagsbehandlerne i deres daglige arbejde. AI-assistenten kan besvare brugernes spørgsmål, så de slipper for at skulle lede efter svar i forskellige opslagsværker,” fortæller Michael Kleven, der er projektleder på KSD.
Sammen med en arbejdsgruppe har Michael Kleven det seneste års tid arbejdet med at udvikle og implementere AI-assistenten, hvilket har givet KOMBIT nogle værdifulde erfaringer med AI-teknologien. På sigt skal AI-assistenten desuden bidrage til skabe en mere datadrevet og proaktiv implementering af ændringer i KSD-løsningen.
Lars Vraa, c hefarkitekt i KOMBIT, fortæller:
”Vores forhåbning er, at data om hvad brugerne søger hjælp til, vil give os en indsigt i om der er noget vi kan optimere i KSD så det bliver mere effektivt og nemt at anvende. Hvis vi ser, at der pludseligt efter en ny release er en stigning i spørgsmål om et specifikt område af løsningen – fx hvis en knap er blevet flyttet et sted hen, hvor man ikke intuitivt kan finde den – så kan vi jo bruge den viden til proaktivt at rette det i næste release eller forbedre vejledninger og implementering”.
Brugerinddragelse, test og feedback
I begyndelsen af projektet inddrog man først og fremmest KSD-faggruppen – en gruppe af superbrugere fra alle områder af Danmark som er sagsbehandlere inden for ydelsesområdet og dagligt anvender løsningen. De 16 superbrugere fik adgang til AI-assistenten, da den var i en tidlig version.
15 kommuner er pt. i gang med at beta-teste AI-assistenten, og det forventes at alle interesserede kommuner vil blive tilbudt betatest i ultimo juni 2025.
”I øjeblikket har vi et beta-testkoncept, hvor kommunerne kan bruge AI-assistenten i forbindelse med deres sagsbehandling. Så der fungerer den allerede nu som en slags hjælper – men med det forbehold at det er en betatest,” fortæller Michael Kleven.
Arbejdsgruppen er løbende i dialog med kommunerne om, hvordan AI-assistenten skaber værdi for dem. I den forbindelse dukkede der hurtigt en udfordring op. For hvordan definerer man, hvad der udgør et rigtigt og fyldestgørende svar fra AI’en på brugernes spørgsmål?
”Vi havde i virkeligheden undervurderet vigtigheden af at have den faglige ekspertise helt tæt på,” fortæller Lars Vraa: ”Derfor besluttede vi hurtigt at rekruttere to indstationerede medarbejdere, altså kommunale sagsbehandlere, som kunne hjælpe os med at kvalificere spørgsmål og svar fra AI’en”.
Det er desuden vanskeligt at forudse hvilke konkrete spørgsmål brugerne vil stille AI-assistenten – og ikke mindst vanskeligt at garantere korrekte svar. Derfor mener Lars Vraa også, at man bør have afstemte forventninger til teknologien.
”Vi har indset at det ikke er muligt at levere en 100% fejlfri AI-løsning. Men derfor kan den godt skabe værdi alligevel. Det kræver dog helt nye værktøjer og kompetencer at teste og evaluere AI,” understreger han.
AI-assistentens feedback-funktion består af en formular, hvor brugeren kan skrive en enten positiv eller negativ feedback – fx hvis der er fejl i assistentens svar. Og feedbacken er nødvendig for at kunne gøre AI assistentens svar mere retvisende.
”Hvis der er en fejl, så får brugeren mulighed for at beskrive både hvad vedkommende fik af svar og hvad AI’en hellere skulle have svaret. På den måde er fejlmelding indbygget i assistenten, så brugerne hele tiden kan meddele os, hvad det er, de synes der er rigtigt eller forkert,” forklarer Michael Kleven.
Leverandøren og KOMBITs testmanager sidder sammen med de indstationerede sagsbehandlere og prioriterer fejlmeldingerne efter kritikalitet. Leverandøren forsøger herefter at optimere de ting, der har været forkerte. Efter justeringen tester de indstationerede om AI’en svarer retvisende på spørgsmålet.
Brugergrænseflade for KSD AI-assistent Beta
Træning af AI-assistenten
Sprogmodellen bag AI-assistenten er trænet på enorme datamængder og har derfor en sproglig forståelse, som gør den i stand til at organisere data anderledes end traditionelle søgemaskiner og databaser. AI-assistenten fodres herefter med den data som den skal basere sine svar på – i dette tilfælde brugervejledningen til KSD-løsningen samt de relevante dele af lovgivningen på området.
Selvom den bagvedliggende metode reducerer risikoen for, at AI-assistenten svarer uforklarligt (hallucinerer), kan den af samme årsag også begrænse assistentens evne til at give fyldestgørende svar. Det skyldes at lovteksten sjældent beskriver konkrete scenarier, hvilket kan efterlade huller i AI’ens forståelse og dermed dens svar. En udfordring som arbejdsgruppen har fundet en måde at overkomme.
“Ved at supplere lovteksten med følgedokumenter – såsom fortolkningsbidrag og principafgørelser – kan AI’en få adgang til de scenarier som ofte mangler i selve lovteksten. For eksempel nævnes begrebet ‘folkepensionist’ ikke i loven, imens begrebet optræder i andre dokumenter. Et kendskab til forskellige scenarier styrker AI-assistentens præcision og gør den mere anvendelig i praksis,” forklarer Michael Kleven.
AI-assistentens søgning er baseret på både nøgleord og på semantisk analyse. Det betyder, at hvis man skriver et specifikt ord, så kan AI’en finde ordet i det indlæste materiale, imens den også er i stand til at finde lignende ord ud fra det første ords betydning.
“På den måde behøver man ikke nødvendigvis bruge det helt nøjagtige ordvalg i sit spørgsmål, men man kan godt få det rigtige svar ved at bruge lignende ord,” forklarer Lars Vraa.
“Vi har en lige nu testsession kørende med et testhus, som sidder og tester forskellige typer af spørgsmål. Det kan være spørgsmål af forskellig kompleksitet – både enkelte og sammensatte – eller med forskellige sproglige variationer. På den måde får vi også et mere klassisk testgrundlag udover feedbacken fra brugerne,” fortæller Michael Kleven.
AI-området er stadig nyt i forhold til test, hvilket gør det udfordrende at kvalitetssikre AI-assistenten. Der ligger desuden et stort manuelt arbejde i at teste, og derfor håber arbejdsgruppen på at kunne automatisere testen ved at træne en anden AI-model (LLM-as-a-Judge) til at foretage regressionstest af AI-assistentens svar.
”Vi kan ikke hele tiden have mennesker til at holde øje med om AI’en svarer rigtigt hver gang vi justerer på noget. Det bliver alt for dyrt og langsommeligt, så vi er nødt til at automatisere testen for at kunne opretholde kvaliteten over tid,” forklarer Michael Kleven.
FAKTA
Regressionstest = en testmetode hvor funktionelle og ikke-funktionelle tests genkøres for at sikre, at tidligere udviklet og testet software stadig fungerer som forventet efter en ændring
LLM-as-a-Judge = en metode hvor man kan træne en AI-model til at foretage regressionstest på outputtet fra en anden AI-model
Skalering til andre projekter
AI-assistentens understøttelse af vejledningsdokumentation for fagløsninger skaber mulighed for skaleringen til andre fagløsninger end blot KSD. Derfor er målet for 2025 også at udbrede AI-assistenten til endnu flere fagsystemer og forretningsområder.
"D er er en lighed mellem forskellige fagløsninger som skaber mulighed for skalering. Så det bliver spændende at finde ud af, hvad vi kan gøre med de erfaringer vi har nu," siger Lars Vraa.
Løsningen bag AI-assistenten er allerede blevet genbrugt internt i KOMBIT i form af en HR-assistent som kan svare på spørgsmål om organisationens personalehåndbog. Derudover er KOMBIT inden længe klar med en Klimaplan-assistent, hvor kommunerne nemt og hurtigt kan søge information om tiltag og indsatser på tværs af alle klimaplaner og relaterede dokumenter.
“Det her er de første skridt på en spændende AI-udvikling i KOMBIT, og vi kunne godt tænke os at tage hul på flere AI-kapabiliteter, så vi kan hjælpe kommunerne på endnu flere områder,” fortæller Lars Vraa.