Lær · Forklaret
Hvad er evals for en AI-agent, og hvordan bruger I dem?
Udgivet 31. oktober 2026
Kort svar. Evals er test, der kan gentages: De kører en AI-agent på kendte tilfælde og tjekker resultatet. Hvert tilfælde er en rigtig opgave med et svar, som et menneske allerede har bekræftet. I kører jeres evals, før nogen stoler på agentens arbejde, og igen efter hver ændring af model, regler eller adgange. Virksomheden ejer sine evals, og operatøren, den person, der har ansvaret for agenten, afgør, hvad der er rigtigt.
Guiden viser, hvordan en eval ser ud, hvad I skal teste, hvor tilfældene kommer fra, hvornår I kører dem, hvem der ejer dem, og hvordan hver rettelse bliver et nyt tilfælde.
Derfor er et par forsøg ikke nok
En agent, der klarede fem fakturaer fint, kan stadig fejle på den sjette. En model kan svare forskelligt på det samme input fra den ene kørsel til den næste. En ændring ét sted, fx en ny model eller en ny regel, kan også ødelægge et trin, der før virkede. Ingen af delene kan et par forsøg i hånden vise. Anthropics vejledning om evals for agenter peger på begge dele: Svarene varierer fra kørsel til kørsel, så hvert tilfælde køres mere end én gang, og et fast sæt tilfælde viser, om agenten stadig klarer alle de opgaver, den klarede før.
Evals er heller ikke det samme som de benchmarks, AI-leverandørerne offentliggør. Et benchmark måler en model på generelle opgaver. Jeres evals måler jeres agent på jeres eget arbejde: jeres leverandører, jeres konti, jeres regler.
Sådan ser en eval ud
Et testtilfælde består af tre dele: inputtet, det kendte svar og kontrollen, der sammenligner dem.
| Del | Hvad det er | Eksempel: bogføring af en leverandørfaktura |
|---|---|---|
| Inputtet | En rigtig opgave, agenten modtager | En faktura på kontorartikler fra en kendt leverandør |
| Det kendte svar | Det resultat, et menneske har bekræftet er rigtigt | Konto, momskode og omkostningssted, som bogholderen bogførte dem sidst |
| Kontrollen | Det, der afgør, om tilfældet består | Kladden har samme konto, momskode og omkostningssted, linker til fakturaen og er stadig en kladde, der venter på godkendelse |
Kontrollen ser på, hvad der faktisk endte i systemet, ikke på, hvad agenten siger, den gjorde. En agent kan melde, at den har oprettet en kladde; evalen tjekker, at kladden findes og har de rigtige felter. Anthropics vejledning anbefaler det samme: Bedøm resultatet, ikke den vej, agenten gik.
Fire ting at teste
| Hvad I tester | Spørgsmålet | Eksempel |
|---|---|---|
| Det rigtige resultat | Svarer resultatet til det kendte svar? | Posteringen passer med fakturaen: konto, momskode, omkostningssted og beløb |
| En kilde til hvert svar | Viser hvert tal, hvilken registrering det kommer fra, og siger agenten til, når der ingen er? | Kladden linker til fakturaen; et spørgsmål om en manglende faktura får svaret “ingen kilde fundet” |
| Den rigtige godkendelseszone | Stopper trinnet, hvor det skal? | En faktura fra en ny leverandør venter i “spørger først”; en betaling går altid til operatøren |
| De forbudte tilfælde | Afviser systemet det, agenten aldrig må gøre? | Bedt om at betale fakturaen kan agenten ikke; se guardrails |
Test begge veje: de tilfælde, hvor agenten skal handle, og de tilfælde, hvor den skal stoppe eller spørge. Et sæt, der kun tjekker det første, kan godkende en agent, der handler på alt.
De tre godkendelseszoner, “handler selv”, “spørger først” og “operatøren godkender”, forklares i Hvornår må en AI-agent handle på egen hånd?
Hvor tilfældene kommer fra
- Arbejde, et menneske allerede har tjekket. Sidste måneds fakturaer, som bogholderen bogførte dem, giver kendte svar, uden at nogen skal skrive nye.
- Operatørens rettelser. Hvert trin, operatøren måtte rette, er et tilfælde, agenten engang tog fejl af.
- De svære tilfælde. Kreditnotaer, udenlandsk valuta, en faktura fordelt på flere omkostningssteder, en leverandør, der har skiftet navn.
Begynd i det små, og lad sættet vokse. Ifølge Anthropics vejledning er 20 til 50 enkle tilfælde hentet fra rigtige fejl en god start. Tilfældene er virksomhedens egne registreringer, så de opbevares der, hvor registreringerne selv må opbevares; guiden om ansvar gennemgår de personoplysninger, de indeholder.
Hvornår I kører dem
- Før agenten går i gang. Evals viser, om den overhovedet er klar til at forberede noget.
- Før et trin rykker til “handler selv”. Evals viser, om trinnet består, tilfælde efter tilfælde.
- Efter hver ændring. En ny model, en ændret regel, nye adgange eller en ændring i et system, agenten læser fra.
- Mere end én gang pr. tilfælde. En models svar kan variere, så én gennemkørsel beviser ikke noget.
Hvis et tilfælde, der før bestod, nu fejler, venter ændringen, til nogen ved hvorfor.
Hvem ejer evals
| Hvem | Hvad de gør |
|---|---|
| Virksomheden | Ejer sine evals, som gemmes og versioneres sammen med agentens regler, så de bliver i virksomheden, hvis agenten eller den, der byggede den, skiftes ud |
| Operatøren | Afgør, hvad der er rigtigt, tilføjer tilfælde fra det daglige arbejde og fastsætter, hvor tit et trin skal bestå, før det rykker |
| Den, der bygger agenten | Skriver kontrollerne, kører evals efter hver ændring og melder tilbage, hvad der fejlede og hvorfor |
| Operatøren igen | Læser resultaterne og beslutter; intet rykker til “handler selv”, bare fordi en score er steget |
Hver rettelse bliver et nyt tilfælde
- Operatøren retter et trin. Agenten foreslog den forkerte konto for en leverandør.
- Rettelsen skrives ind i reglerne. Den skrives ind i agentens regler eller i virksomhedsordbogen, en skrevet liste over, hvad virksomhedens ord og tal betyder. Selve modellen ændres ikke.
- Tilfældet kommer med i evals. Fakturaen bliver et nyt tilfælde med det rigtige svar.
- Evals køres igen. Det nye tilfælde består, og de gamle består stadig.
Derefter fanger evals den samme fejl, før den når operatøren igen. Anthropics vejledning beskriver samme kredsløb: Fejl bliver til testtilfælde, og testtilfælde forhindrer, at den samme fejl vender tilbage.
Evals og operatøren
Evals tjekker kendte tilfælde. Det daglige arbejde bringer tilfælde, ingen har set før. Derfor skriver et trin, der handler selv, stadig hver handling i logbogen, fortegnelsen over, hvad der skete, på hvilke kilder, og hvem der besluttede det, og derfor går undtagelser stadig til et menneske. Anthropics vejledning placerer også evals ved siden af overvågning og menneskelig gennemgang, aldrig i stedet for dem.
En eval, der består, giver operatøren dokumentation. Beslutningen træffer operatøren.