Start med oppdraget, ikke modellen

Modellnøyaktighet etablerer ikke operativ egnethet. TEVV bør starte med tiltenkt oppdrag, operativt designdomene (ODD), konsekvensprofil, menneskelig ansvar, avhengigheter og forhold som skal begrense eller trekke tilbake autonomi.

Test normaltilstand, grenser og feil

En scenariokatalog kan omfatte sensorbortfall, skjevhet, datakonflikt, sambandstap, tidsfeil, ugyldig eller tilbakekalt myndighet, overlevering, komponentdegradering, modelloppdatering og forutsigbart misbruk.

Evaluer myndighet og degradert atferd

TEVV bør teste hva systemet har lov til å gjøre: korrekt ALLOW, avgrenset CONSTRAIN eller DEGRADE, riktig HOLD, avvisning med DENY og definert ABORT.

Bevar konfigurasjon og testproveniens

Resultater kan ikke reproduseres uten identitet på maskinvare, programvare, modell, data, policy, myndighet, scenario, miljø og instrumentering. BIT utvikler strukturer som binder dette til hver testkjøring.

Fortsett TEVV etter første aksept

Atferd kan endres når modeller, sensorer, infrastruktur, datafordeling, leverandører eller policy endres. Materielle endringer må kunne utløse ny vurdering og regresjonstest.

Ofte stilte spørsmål

Hva betyr TEVV?

Test og evaluering, verifikasjon og validering undersøker om krav er møtt, systemet er bygget som spesifisert og egnet for tiltenkt bruk.

Hvorfor er modelltesting utilstrekkelig?

Operativ atferd oppstår i hele systemet: data, sensorer, programvare, maskinvare, samband, mennesker, policy og miljø.

Kan BIT sertifisere systemet?

Nei. BIT utvikler assurance-orientert TEVV-design og evidensplanlegging; sertifisering eller godkjenning ligger hos autorisert organ.

Må alle tester være operative?

Nei. Analyse, simulering og hardware-in-the-loop kan avklare mye før kontrollert operativ evaluering.

Kilder og faglig grunnlag

  1. NIST Artificial Intelligence Risk Management Framework — Kildene gir faglig kontekst; de innebærer ikke samsvar, godkjenning eller sertifisering av BIT.
  2. EASA Artificial Intelligence Concept Paper, Issue 2
  3. U.S. GAO Artificial Intelligence Accountability Framework
  4. DoD Directive 3000.09 — Autonomy in Weapon Systems

Gjør én operativ påstand testbar.

Definer oppdragsbaseline, scenariokatalog, passkriterier, instrumentering og evidenspakke for et avgrenset TEVV-løp.

Be om TEVV-workshop

Ugradert · avgrensede arbeidsmøter og pilotdesign