Ny forskning: Hvordan handler vi når AI systemer fejler?
Et nyt forskningsprojekt ledet af lektor Paolo Burelli fra IT-Universitetet ser nærmere på katastrofehåndtering til søs i en tid, hvor skibsdriften automatiseres.
Paolo BurelliSamarbejderForskningkunstig intelligens
Skrevet 1. juni 2026 07:01 af Theis Duelund Jensen
Da krydstogtskibet Viking Sky mistede strømmen ud for Norges kyst i 2019, var fejlen ikke kun mekanisk. Mens skibet drev mod en klippekyst, udløstes hundredvis af digitale alarmer i kontrolrummet inden for få sekunder – en strøm af signaler, der pegede i alle retninger uden at give nogen klar forklaring.
Det var et øjeblik, hvor information blev til støj. Og det er netop dette øjeblik, som et nyt forskningsprojekt ved IT‑Universitetet i København vil forsøge at forstå.
Projektet, ledet af lektor Paolo Burelli, har modtaget 1,75 millioner kroner i finansiering fra Den Danske Maritime Fond og Orient’s Fond. Sammen støtter partnerne et forskningsarbejde, der fokuserer på en voksende og stort set uudforsket risiko for maritim sikkerhed: hvad der sker, når menneskelige operatører konfronteres med fejl i komplekse, AI‑drevne systemer – og ikke kan forstå dem.
Kognitiv overbelastning
“Problemet er ikke kun teknisk – det er mødet mellem menneske og maskine,” siger Burelli. “Når noget går galt, er det egentlige spørgsmål, om operatøren overhovedet kan forstå det.”
Denne spænding mellem for meget information og manglende indsigt er kernen i det nye projekt. Forskning på området viser, at tydelige forklaringer fra automatiserede systemer kan reducere fejl betydeligt – men denne effekt forsvinder hurtigt, når operatører bombardereres med advarsler. For mange alarmer skaber kognitiv overbelastning, nedbryder tillid til teknologien og kan i sidste ende føre til farlig passivitet, hvor besætninger begynder helt at ignorere advarsler.
På ITU’s brAIn lab vil Paolo Burelli og hans kolleger undersøge problemet ved at fokusere på menneskers reaktion, når teknologien fejler. Projektet ser på, hvordan operatører opfatter, fortolker og reagerer på fejl i AI‑assisterede systemer – især under pres.
“Vi forsøger at forstå, hvad der sker kognitivt, når mennesker håndterer et autonomt ‘black box’-system, og der opstår fejl – og hvordan det påvirker deres evner til at træffe beslutninger,” siger Paolo Burelli.
Forskningen udføres via en række simulerede scenarier inspireret af virkelige hændelser, herunder kædereaktioner af fejl som dem, der blev set på Viking Sky. Deltagerne vil interagere med systemer, der opfører sig uforudsigeligt, giver ufuldstændige forklaringer eller leverer modstridende anvisninger. Samtidig vil forskerne måle, hvordan deres opmærksomhed, stressniveau og beslutningsprocesser ændrer sig.
Tillid til teknologi
“Vi ser på, hvordan mennesker rekonstruerer, hvad der gik galt,” siger Paolo Burelli. “Hvilke beskeder hjælper? Hvilke skaber bare mere støj? Og hvordan påvirker det tilliden til teknologien?”
Et centralt mål med projektet er at forstå ikke kun, hvordan tillid undermineres, men også hvordan den kan genopbygges. Når systemer udsender falske eller for mange alarmer, kan operatører begynde at tvivle på dem – en dynamik, der ofte beskrives som “ulven kommer”-effekten. At genopbygge tillid kræver klar og rettidig kommunikation – men hvordan det præcist skal se ud i praksis, er stadig uklart, især i sammenhæng med AI‑systemer, som i sagens natur rummer usikkerhed.
Projektet adresserer dette gennem et struktureret forskningsprogram, der undersøger tre indbyrdes forbundne dimensioner: hvor transparente AI‑systemer er i forhold til at forklare deres begrænsninger, hvordan operatører reagerer på forskellige genopretningsstrategier under fejl, og hvordan designet af kommunikation påvirker tilliden over tid. Ved at koble disse faktorer til fysiologiske markører for kognitiv belastning og stress sigter forskerne mod at bevæge sig ud over intuition og etablere målbare grænser for sikkert og effektivt systemdesign.
Underliggende i projektet er et skift i måden, sikkerhed forstås på i AI’s tidsalder. I stedet for at antage, at automatisering vil eliminere menneskelige fejl, tager forskningen udgangspunkt i det modsatte: at fejl er uundgåelige og endda kan blive hyppigere, efterhånden som systemer bliver mere komplekse.
“Vi antager, at automatiserede systemer vil fejle,” siger Burelli. “Nøglen er, hvor hurtigt mennesker kan forstå, hvad der sker, og komme videre derfra. Efterhånden som AI‑assisteret beslutningstagning bliver almindelig på tværs af brancher, er det afgørende at udvikle nye standarder.”
Theis Duelund Jensen, Presseansvarlig, telefon +45 2555 0447, email thej@itu.dk