Formål med projekt:

Formålet var at optimere kvaliteten af kvote 2 optagelsessamtalerne på medicin i foråret 2016 og fremover.

Pålidelighed, validitet, gennemførlighed og acceptabilitet er hjørnesten i enhver prøve, men særligt i testsituationer, hvor meget står på spil, som det er tilfældet i selektion for optagelse. Et pilotprojekt hvor optagelsessamtalerne afprøves og evalueres i efteråret 2015 ville således 1) kvalitetssikre en konkret ’high stakes’ test situation på AU, og 2) tjene som en vigtig erfarings- og inspirationskilde i forhold til kvalitetssikring af fremtidige optagelsessamtaler på AU.

Resultater af projektet:

Denne pilottest viste at optagelsessamtalerne i det planlagte format var praktisk gennemførlig og det med stor grad af aftagerinvolvering. Det skønnes dog nødvendigt fremover at have en vis ekstra bemanding klar under prøven, samt at have planer for logistikken i tilfælde af udeblivelser på dagen blandt bade bedømmere og ansøgere. Med hensyn til validiteten viste prøven gode takter i forhold til scoringsprocessen, men det skønnes at denne kan optimeres ved at skrue lidt mere op for bedømmer træningen fremover. Der var overordnet set stor grad af acceptabilitet af testen blandt deltagerne, men også konkrete tip til prøveindhold der med fordel kan udskiftes eller redigeres inden prøven kører i foråret 2016. Generaliserbarheden af prøven var meget høj på testdagen, hvorimod at evnen til at generalisere resutaterne til en anden udgave af prøven med andre opgaver var mere moderat. Der kunne ikke umiddelbar påvises stærke sammenhænge mellem scorer på forskellige stationer som ellers var udviklet til at teste samme domæne. Ej heller var der nogen sammenhæng mellem prøvescorerne på pilot-samtalerne og så prøvetagernes adgangsgivende karaktersnit, køn eller alder. Dog vil anvendelsen af et lille sample af relativt homogene prøvetagere som i det konkrete tilfælde kunne undermineret evnen til at kunne påvise sådanne signifikante associationer af statistiske grunde. En evalueringsrapport over forløbet er blevet publiseret og vil blive formidlet både lokalt og nationalt i foråret 2016.

Perspektivering:

Konkret har resultaterne af denne pilottest udløst en redigering/kvalitetsudvikling af dele af prøveindholdet for samtalerne i foråret 2016. Det også blevet besluttet a udvide bedømmer træningen før optagelsessamtalerne i juni 2016 på baggrund af resultaterne. Erfaringerne fra pilottesten har udløst planlægningen af et relevant valideringsstudie. Dette studie skal på baggrund af data fra forårets optagelse undersøge nærmere, hvad vi med rette kan påstå, at vi bedømmer til samtalerne, men også en nærmere undersøgelse af konkurrerende forklarende faktorer (adgangsgivende karakterer, køn og alder) på baggrund af en langt større og mere repræsentativ stikprøve af testtagere.