Operational acceptance test (OAT)

Testtype

Operational Acceptance Test (OAT´en)

Formålet med Operations Accetance Test (OAT´en)

Testens formål er oparbejde tillid til, at AU driftsafdeling kan holde systemet godt kørende for brugerne, også under svære betingelser. Fokus for testen er at sikre test af driftsmæssige aspekter som f.eks. genoprettdelsesegnethed, ressourceadfærd, installerbarhed og teknisk compliance. Testen afdækker om driften af den samlede løsning virker på aftalt og tilfredsstillende niveau

Kort beskrivelse af Operations Accetance Test (OAT´en)

Før Operations Acceptance Test kan påbegyndes, skal User Acceptance Testen være godkendt af AU, leverancen overtaget, og leverandørens support- og vedligeholdelsesorganisation og aktiviteter påbegyndt.

Operations Acceptance Test tester system-, support- og servicemålsaftaler i en afgrænset driftsperiode i en normal driftssituation. Eksempelvis måles driftseffektivitet og svartider for løsningen i miljøet til drift (AU's produktionsmiljø) over en periode, mens leverancen anvendes i en normal driftssituation.  Resultatet af målingerne holdes op mod de aftalte og udspecificerede servicemål, og andre relevante kontraktdele,

Operations Acceptance Test tilrettelægges normalt, så den omfatter den forretningsorienterede anvendelse af funktionalitet og non-funktionalitet i drift, herunder interne og eksterne integrationer, aftaler om servicemål, support, compliance, dokumentation mv. Det er ikke formålet med driftsprøven at foretage regressionstest af allerede leveret og godkendt funktionalitet. 

Operations Acceptance Test svarer i prøvesammenhæng til Driftsprøve.

Operations Acceptance Tests fokus
Operations Acceptance Tests fokus er: 

Non-funktionalitet:

• Genoprettelsesegnethed
• Ressourceadfærd
• Installerbarhed
• Teknisk compliance/driftsdokumentation
• Support- og servicemålsaftaler
• Driftseffektivitet

Hovedansvar
Forretningens Test manager/Projektleder

Leverandør

Udførende
Drifts - og/eller administrations-personel (den organisatoriske systemforvaltningsenhed)

Leverandøren:

• Udarbejder den samlede prøveplan.
• Testplan og testdesign
• Eventuelt testdata til anvendelse i det omfang, testdata er nødvendigt og stilles til rådighed af leverandøren
• Udarbejder den samlede prøverapport

AU:

• Reviewer og godkender inden driftsprøven (alle involverede testtyper):
  • Den samlede prøveplan
  • Testplan og tesdesign
  • Miljøbeskrivelse og eventuelt testdata stillet til rådighed af leverandøren
• Reviewer og godkender efter driftsprøven:
  • Prøverapporten
  • Prøverapportens resultat som grundlaf for idriftsættelse af systemet.
• Reviews af artefakter og resultater både før og efter driftsprøven sker fra AU’s side med involvering af Test manager og/eller Projektleder, Teknisk test manager og Data manager.
• Den endelige godkendelse af prøverapport og prøveresultat gennemføres hos AU af Test Manager og/eller Projektleder.

Godkendende
AU PO eller AU projektleder

Miljø til testafvikling

Driftsprøven gennemføres i driftsmiljøet.

Data til testafvikling

Der anvendes i udgangspunktet produktionsdata, da prøven afvikles i produktionsmiljøet. Der kan dog være afgrænset behov for enkelte testdata. Disse skal være tilstrækkelige, nødvendige og gøres tilgængelige til den konkrete test. 

Startkriterier

Testafviklingen kan starte, når:

• Testcases er reviewet og godkendt af AU (drift og aftaleholder)
• Testplanen er reviewet og godkendt af AU (drift)
• Aftalt driftsdokumentation er leveret af Leverandøren
• User Acceptance Test er gennemført og godkendt af AU, eller aftalte tests på underliggende niveauer er gennemførte og godkendte af AU.
• Leverancen ligger i driftsmiljøet, og det er konstateret, at leverancen fungerer i dette miljø

Slutkriterier

• Alle planlagte testcases er enten afviklede eller begrundet sprunget over. Eventuelle afvigelser er dokumenteret, begrundet og mitigeret for (hvis muligt) 
• Eller den aftalte periode for gennemførelse af testen er afsluttet

Acceptkriterier

Testen kan godkendes, når:

• Testen er gennemført efter testplanen, og der ikke er fundet fejl
  ELLER når fundne fejl enten er rettet og gentestet ok, eller der er godkendt en plan for fejlrettelsen
• ELLER når fundne fejl er accepterede og ikke ønskes fejlrettet
• ELLER når antallet af fejl overholder det fastlagte antal accepterede fejl i leverancen jf. kontrakten, og når der foreligger en godkendt udbedringsplan for disse. Et eksempel herpå kunne være:
  • Ingen kategori 1 og 2-fejl,
  • Max 3 kategori 3-fejl,
  • Max 15 kategori 4-fejl og
  • Max 25 kategori-5-fejl.

Test cases

Testcases udarbejdes af leverandøren. AU skal bidrage til/med design af test cases og gennemførelsen af disse test cases. Udarbejdelse af test cases til funktionalitet, non-funktionalitet, integrationer, konfiguration,- teknisk  compliance m.m., foregår i tæt samarbejde imellem AU's domænespecialister (her: drift), og leverandøren.

Testcases reviewes og godkendes af AU som ovenfor beskrevet.