Kan vi bygge en sikker AI-assistent?

AI-agenter udgør en betydelig sikkerhedsudfordring: selv begrænset til en chatboks laver store sprogmodeller fejl og kan opføre sig uforudsigeligt. Når de får adgang til eksterne værktøjer — som browsere, e-mail eller andre handlinger i den virkelige verden — forstærkes konsekvenserne af disse fejl dramatisk. Sikkerhed kræver derfor mere end bedre modeller: klare adgangsbegrænsninger, mindst-privilegium, sandkasser, overvågning, ansvarlighed og menneskelig indgriben ved tvivl. Der er også et trade-off mellem nytte og risikoreduktion: stramme begrænsninger kan mindske funktionalitet. Endelig gør modellernes tilbøjelighed til at ”hallucinere” og misforstå intentioner måling, verifikation og robust testning nødvendige for at nærme sig en praktisk sikker AI-assistent.