Fabriksprøven

Fabriksprøven skal måle på, om den aftalte leverance har en kvalitet, som giver leverandøren og AU en berettiget forventning om, at leverancen opfylder de aftalte krav og dermed vil kunne imødekomme de kriterier, der er fastlagt i de efterfølgende prøver. En godkendt fabriksprøve er således den umiddelbare forudsætning for og et indgangskriterie for den efterfølgende installationsprøve. Formålet med fabriksprøven er at sikre, at programmel, udstyr og dokumentation opfylder de stillede krav, forinden der sker en installation heraf i kundens testmiljø.


Kort beskrivelse af fabriksprøven
Fabriksprøven tilrettelægges og gennemføres af og hos leverandøren, og omfatter en afprøvning af løsningens funktionalitet i leverandørens eget miljø, med eller uden tilslutning til AU it‐miljø og til andre miljøer (underleverandører, andre datakilder der samspilles med, det kan være offentlig myndigheder eller andre) efter behov (kritikalitet, muligheder, risici, omkostninger). Fabriksprøven gennemføres på enhver leverance, både i forbindelse med realiseringen af kontrakten og løbende i den efterfølgende forvaltning. En fabriksprøve omfatter afprøvning af programmel, udstyr og dokumentation, for så vidt dette kan ske uden direkte tilslutning til AU's it-miljø.

Set fra leverandørens side udgør fabriksprøven den afsluttende afprøvning af egen udvikling og opsætning af leverancen, inden denne frigives til det videre aftalte prøveprogram hos AU. Prøven er en essentiel del af leverandørens egen kvalitetssikring af programmer og programmeringsarbejde. 

Set fra AU’s side er en - af AU - godkendt fabriksprøve betingelsen for at modtage leverancen og dermed indgangskriteriet for at gennemføre de efterfølgende prøver i det aftalte prøveprogram. En godkendt fabriksprøve er acceptkriterie for at den samlede løsning er kvalitetssikret hos leverandøren forud for installation og afprøvning hos AU. Den godkendte fabriksprøve skal sikre, at det øvrige prøveprogram kan gennemføres uden unødige gentagelser, forsinkelser og unødig brug af ressourcer under det videre testforløb.

Fabriksprøvens fokus
Fabriksprøven måler på, at aftalte krav af alle typer, er opfyldt fra leverandørens side. Det drejer sig om:

Funktionelle krav
Udvalgte non-funktionelle krav
Compliance krav
Andre relevante kontraktuelle krav

Hovedansvar
Leverandør

Udførende
Leverandør

Såfremt det aftales:
-  er AU udførende på at fremfinde og stille test data til rådighed for leverandørens fabrikstest. Denne aktivitet vil fra AU’s side gennemføres med involvering af Test manager og Data manager.
-  kan AU være til stede ved udførelsen af fabriksprøven.

 

Godkendende
AU

AU reviewer og godkender inden fabriksprøven:

•  Testplan og testdesign (test cases)
•  Beskrivelse af anvendt testmiljø
•  Test data til anvendelse

AU reviewer og godkender efter fabriksprøven:

•  Prøverapporten
•  Prøverapportens resultat som grundlag for modtagelse af leverancen til det videre prøveprogram

Reviews af artefakter og resultater både før og efter fabriksprøven sker fra AU’s side med involvering af relevante af følgende: Test manager og Data manager.

Den endelige godkendelse af prøverapport og prøveresultat foretages hos AU af Product Owner/projektleder.

Involverede testtyper i fabriksprøven

Alle involverede testtyper er på systemniveau, og fabriksprøven omfatter relevante testtyper blandt nedenstående:

Funktionstest (E2E):  Afprøver, at alle funktioner beskrevet i kravspecifikationen er til stede, og fungerer efter hensigten i forhold til krav fra AU 

Usability test:       Afprøver løsningens usability, såfremt krav hertil er beskrevet i kontrakt / kravspecifikation

Test af drifts-/forvaltningsparathed: Afprøver, at non-funktionelle krav på de aftalte områder er mødt, herunder krav til sikkerhed og andre relevante compliance krav

Miljø til prøveafvikling

Fabriksprøven afvikles i udgangspunktet i leverandørens eget miljø med eller uden tilslutning til AU it‐miljø og andre miljøer (underleverandører, andre datakilder der samspilles med (offentlige, myndigheder o.a.)) efter behov (kritikalitet, muligheder, risici, omkostninger).

Data til prøveafvikling

Afgrænses til at være tilstrækkelige og nødvendige til den konkrete testtype. Stubbe og drivers anvendes efter behov.

Som nævnt ovenfor et det AU, der leverer test data, såfremt der er lavet aftale herom.

Startkriterier

Prøveafviklingen kan starte, når:

  • Når testplanen er reviewet og godkendt af AU
  • Leverandøren har gennemført og godkendt resultaterne af tests på underliggende niveauer samt egne planlagte tests på systemniveau
  • Leverandøren har overført til eget testmiljø og konstateret, at leverancen fungerer i dette testmiljø
  • Testdata er tilgængelige
  • Testcases er reviewet og godkendt af AU

Acceptkriterier

Prøven kan godkendes, når den er gennemført efter prøveplanen, og følgende kriterier er imødekommet:

  • Prøverapporten er leveret og godkendt
  • Antallet af fejl overholder det fastlagte antal accepterede fejl i en leverance. Dvs (slags uafprøvet forslag):
    • ingen kategori 1 og -2 fejl,
    • max 3 kategori 3-fejl,
    • max 15 kategori 4-fejl og
    • max 25 kategori-5-fejl.

Test cases

Udarbejdes af leverandøren – reviewes og godkendes af AU som ovenfor beskrevet.