ITU-forsker undersøger, hvordan AI kan blive bedre til at kommunikere usikkerhed
AI-baserede sprogmodeller bruges i stigende grad på sundhedsområdet, hvor de kan levere svar på komplekse spørgsmål på få sekunder. Men selv om formuleringerne ofte fremstår klare og overbevisende, er svarene ikke nødvendigvis helt korrekte – og derfor skal modellerne lære at sætte ord på deres egen usikkerhed.
Skrevet 26. august 2026 12:35 af Niels Thrane
Forestil dig, at du er sløj og har en række konkrete symptomer. Men før du ringer til lægen, går du til din foretrukne AI-platform, taster symptomerne ind, og ud kommer et svar med en række procentsatser, tal, der angiver sandsynligheden for, hvilke sygdomme dine symptomer kan være udtryk for. For eksempel 15 % risiko for galdesten, 10 % for leverskade og 75 % risiko for midlertidig irritation i fordøjelsessystemet.
For almindelige mennesker uden medicinsk baggrund kan procentsatserne – og dermed udtrykket for svarets usikkerhed – virke uhensigtsmæssigt alarmerende og i værste fald kontraproduktive. Det er en problemstilling, som lektor ved IT-Universitetet, Christian Hardmeier, sammen med kolleger fra DTU og University of Edinburgh undersøger i projektet “Conveying Caution & Confidence: Quantification and Communication of Uncertainty in Large Language Models".
“Tal alene er ikke nok. En sikkerhedsscore på 75 % giver måske mening for en statistiker, men ikke for en 10-årig,” forklarer Christian Hardmeier. “Vi ønsker at bruge sproglige strategier – som at nuancere med ord som ‘måske’ eller ‘sandsynligvis’ – så usikkerhed formidles på en måde, folk kan forstå. Og det er afgørende, at de udtryk reelt stemmer overens med modellens faktiske sikkerhed.”
Christian Hardmeier arbejder derfor med at gøre AI-systemer bedre til at udtrykke, hvor sikre de er på deres egne svar. Målet er i sidste ende at give brugerne en mere realistisk forståelse af, hvornår de kan stole på et svar, og hvornår de bør være i tvivl.
“Når vi taler med et andet menneske, har vi en antagelse om en fælles forståelse. Forbehold, begejstring, usikkerhed og faglig viden spiller ind. Sprogmodellernes svar er derimod – selvom de er velformulerede og selvsikre – et resultat af beregninger og statistik. Alligevel har vi en tendens til at tilskrive dem menneskelige egenskaber.”
Usikkerhed som en del af modellen
En central del af forskningen handler om at gøre usikkerhed til en integreret del af selve modellen. Ved hjælp af bayesianske metoder forsøger forskerne at kvantificere, hvor sandsynligt det er, at et svar er korrekt. Med bayesianske statistiske metoder, opdaterer man løbende sin viden eller sandsynlighedsvurdering, når man får ny information. Det er imidlertid en teknisk udfordring, fordi moderne sprogmodeller består af milliarder af parametre, og eksisterende metoder til usikkerhedsestimering er svære at skalere til den størrelse.
Samtidig er det ikke tilstrækkeligt blot at beregne usikkerhed – den skal også kunne bruges aktivt i modellens svar. Og svarets korrekthed er altid betinget af, hvilken træning modellen har modtaget.
“Hvis spørgsmålet omhandler noget, som modellen ikke er trænet særlig meget i, vil den alligevel forsøge at svare. Den ‘ved’ ikke, at den ikke er kvalificeret, og derfor producerer den et svar, der ser sandsynligt ud. Men hvis en model fremstår mere sikker, end den er, kan det føre til misforståelser og fejlagtige beslutninger,” siger Christian Hardmeier.
Forskellige behov på sundhedsområdet
Projektet har blandt andet fokus på sundhedsområdet, hvor behovet for tydelig og korrekt kommunikation er særligt stort. I samarbejde med partnere som Virtu Research Group fra Region Hovedstaden undersøger forskerne, hvordan forskellige brugere – patienter og sundhedsfagligt personale – har behov for, at usikkerhed udtrykkes forskelligt.
Christian Hardmeier tror dog ikke, at de store sprogmodeller helt kommer til at erstatte mennesker. ”Jeg tror ikke de bliver gode nok i den nærmeste fremtid. Derfor bruger vi altid kun modellerne i forbindelse med menneskelig efterhandling”, siger Hardmeier.
Blandt andet arbejder Virtu-gruppen på en metode til at analysere terapeutiske samtaler, der for eksempel kunne bruges i uddannelsen af terapeuter, og i 1813AI-projektet, vil man bruge en chatbot for at indsamle information under ventetiden for et opkald til 1813, for at forbedre effektiviteten i selve samtalen.
For Christian Hardmeier er forskningen i AIs usikkerhed at betragte som grundforskning, ” Den er relevant i næsten alle anvendelser af store sprogmodeller, men den er måske ikke den afgørende del i alle praktiske anvendelser”, siger han.
Projektet “Conveying Caution & Confidence: Quantification and Communication of Uncertainty in Large Language Model,” bliver udarbejdet af IT-Universitetet i København i samarbejde med DTU Compute og University of Edinburgh.
Jari Kickbusch, Forskningskommunikatør, telefon 7218 5304, email jark@itu.dk