Validitet og reliabilitet: intern, ekstern og økologisk validitet

Validitet handler om, hvor godt en undersøgelses målinger og konklusioner er begrundet i det, den skal undersøge. Reliabilitet handler om konsistens og pålidelighed, fx når en måling gentages under sammenlignelige forhold. I et kvalitativt interviewprojekt skal du vælge og forklare kvalitetskriterier, der passer til din konkrete analysetilgang.

Her får du forskellen på begreberne, grænserne for intern, ekstern og økologisk validitet og en måde at begrunde dine egne kvalitetsvalg på. Et opdigtet projekt om feedback fra undervisere viser, hvordan du kan knytte et kriterium til en handling og en begrænsning. Brug det som skrivehjælp, og følg din uddannelses metodekrav.

Hvad er validitet og reliabilitet?

Spørg først, hvilken påstand du vil kunne begrunde. Måler du et begreb med et spørgeskema, fortolker du interviewpersoners beskrivelser, eller undersøger du en mulig årsagssammenhæng? De opgaver stiller forskellige krav til materiale, analyse og argumentation. Ét generelt kvalitetsord kan ikke erstatte en forklaring af det konkrete valg.

Aarhus Universitets introduktion til validitet skelner blandt andet mellem målingsvaliditet og spørgsmål om konklusionernes gyldighed. Et spørgsmål om fremmøde er eksempelvis ikke i sig selv et dækkende mål for trivsel. Du må forklare, hvorfor netop dine spørgsmål eller observationer belyser det begreb, du undersøger.

Skeln også mellem, at et resultat ændrer sig, og at en måling er upålidelig. Hvis det undersøgte forhold faktisk ændrer sig, behøver forskellige svar ikke skyldes en dårlig måling. Beskriv, hvilke forhold der skulle være sammenlignelige, før du forventer samme resultat. Den samme forsigtighed gælder, når du sammenligner to fortolkninger af en samtale.

Intern og ekstern validitet

Intern validitet

I AU's forklaring af intern validitet handler begrebet om troværdige resultater inden for undersøgelsens egne præmisser. Det er en brugbar bred indgang: passer spørgsmål, materiale og analyse til det, du vil undersøge? I et interviewprojekt kan du eksempelvis vise det tekstuddrag, din fortolkning bygger på, og forklare, hvorfor du læser det sådan.

Ved en påstand om årsag og virkning bliver spørgsmålet mere specifikt: understøtter undersøgelsens design den årsagsforklaring, eller kan andre forhold forklare mønstret? Et udsagn om, at en studerende oplevede feedback som hjælpsom, dokumenterer ikke alene, at feedbacken forårsagede en bestemt karakter. Angiv, om du beskriver en oplevelse, en sammenhæng eller en årsag, og begrund det niveau.

Ekstern validitet og generaliserbarhed

Ekstern validitet angår, hvor langt resultaterne kan række uden for den undersøgte sammenhæng. En velbegrundet fortolkning af et interview bliver ikke automatisk gældende for alle studerende. Beskriv, hvem du har talt med, hvordan de blev udvalgt, og hvilken kontekst deres udsagn vedrører, før du formulerer en bredere konklusion.

I en undersøgelse med statistiske ambitioner må du blandt andet forholde dig til målgruppe, udvælgelse, dækning og manglende svar. Et stort antal svar ophæver ikke alene problemer ved udvælgelsen. I et fortolkende interviewprojekt kan en mere afgrænset opgave være at beskrive en sammenhæng så tydeligt, at andre kan vurdere dens relevans for deres egen. Skriv, hvad du mener med overførbarhed, frem for at love bred gyldighed med et bestemt antal interviews.

Økologisk validitet

Økologisk validitet vedrører forholdet mellem observationerne i en undersøgelsessituation og det, der sker i hverdagen uden for den. Overvej eksempelvis, om det at blive observeret, interviewets rammer eller en kunstig opgave kan påvirke det, du får adgang til. En naturlig ramme er ikke i sig selv dokumentation for, at alle relevante hverdagssituationer er dækket.

Et interview om feedback giver adgang til deltagerens beskrivelse i samtalen. Det viser ikke uden videre, hvordan vedkommende faktisk læser en kommentar hjemme eller ændrer sin tekst. Hvis forskellen er vigtig for dit spørgsmål, kan du overveje supplerende materiale og forklare, hvad hver kilde kan belyse. Vælger du alene interviews, kan du stadig skrive en præcis konklusion om de beskrivelser, du har analyseret, med denne begrænsning tydelig.

Reliabilitet: pålidelighed og konsistens

AU's reliabilitetsbegreb omfatter blandt andet stabilitet ved gentagen måling og sammenhængen i en måleskala. Forklar, hvilken slags konsistens du undersøger, frem for blot at kalde hele projektet reliabelt. Skal flere personer registrere samme slags hændelse, kan tydelige kategorier og en begrundet sammenligning af registreringerne være relevante for netop den opgave.

I et interview kan fælles temaer hjælpe dig med at holde fokus på forskningsspørgsmålet. De fjerner ikke interviewerens betydning, forskellige opfølgninger eller forskelle i situationen. Notér væsentlige ændringer og begrund dem. Kravet er ikke nødvendigvis, at alle får præcis samme spørgsmål, eller at en anden forsker skal skrive den samme fortolkning.

Ved struktureret kodning kan en kodebog beskrive, hvornår en kode bruges, og hvad der falder udenfor. Ved refleksiv tematisk analyse har fortolkning og forskerens perspektiv en anden rolle. Braun og Clarke understreger i deres artikel om god praksis i tematisk analyse, at kvalitetsprocedurer skal passe til den valgte tilgang. Enighed mellem uafhængige kodere er derfor ikke et fælles kvalitetskrav for alle former for tematisk analyse. Se forskellene i guiden til tematisk analyse.

Validitet og reliabilitet i kvalitativ metode

Lincoln og Guba beskrev i deres oprindelige paper om naturalistisk undersøgelse fra 1982 fire beslægtede kvalitetskriterier. De er en mulig ramme, som du skal vælge og begrunde i forhold til dit projekt:

• Troværdighed: Hvordan begrunder du fortolkningen af materialet?
• Overførbarhed: Hvad skal læseren vide om konteksten for at vurdere relevansen andre steder?
• Pålidelighed, dependability: Kan læseren følge dine fremgangsmåder og begrundede ændringer?
• Bekræftbarhed: Kan du vise forbindelsen mellem materiale, analytiske beslutninger og konklusioner?

Deres argument om dokumentation kræver ikke, at en anden forsker ville have foretaget præcis de samme vurderinger. Pointen er, at fremgangsmåde og konklusion kan undersøges og begrundes. En log over et ændret spørgsmål eller en ny fortolkning kan derfor være nyttig dokumentation. Beskriv, hvad der ændrede sig og hvorfor, i stedet for at skjule ændringer som tegn på en automatisk dårlig metode.

Sådan styrker du validitet og reliabilitet

Brug de følgende fem spørgsmål som en arbejdsnote. Vælg de handlinger, der passer til din undersøgelse, og skriv kun, at du har udført dem, hvis det faktisk er sket. Noten erstatter ikke din metodebegrundelse eller uddannelsens krav.

1. 1

   Hvilken konklusion skal materialet kunne bære?

   Skriv én foreløbig påstand og peg på det materiale, der kan belyse den. Skeln fx mellem en deltagers oplevelse af feedback og en dokumenteret ændring i præstation.
2. 2

   Hvilken kontrol passer til din tilgang?

   Vælg fx kontrol af en registreringsregel, gennemlytning af citater eller refleksion over en fortolkning. Forklar, hvad kontrollen kan opdage, og hvad den ikke afgør.
3. 3

   Hvordan håndterer du andre perspektiver?

   Overvej materiale eller tilbagemeldinger, der udfordrer din første læsning. Flere kilder behøver ikke fortælle det samme. Undersøg, hvad forskellen kan skyldes, frem for kun at samle enighed.
4. 4

   Kan du følge dine beslutninger tilbage?

   Gem et kort notat om udvælgelse, ændringer i spørgsmål og væsentlige analytiske valg. Bevar forbindelsen til de relevante uddrag, så du kan forklare, hvordan en konklusion blev til.
5. 5

   Hvilken begrænsning bliver stående?

   Angiv fx en bestemt uddannelseskontekst, en manglende deltagergruppe eller, at du undersøger beskrivelser og ikke observeret praksis. Lad konklusionens ordvalg afspejle denne grænse.

Deltagertilbagemelding, også kaldet respondentvalidering eller member checking, er et muligt valg med forskellige formål. Birt og medforfatteres artikel om member checking viser, hvorfor fremgangsmåden og fortolkningsgrundlaget må beskrives. At få en faktuel oplysning rettet er en anden opgave end at få kommentarer til et tema. Tilbagemelding eller enighed fra én deltager afgør ikke alene fortolkningen af hele materialet.

Har du optagede interviews, kan en tekst kontrolleret mod lyden og tydelige henvisninger til uddrag gøre arbejdet mere overskueligt. Vælg detaljeringsgrad efter analysens behov, og markér usikre steder. Værktøjet hjælper dig med at organisere materialet; det afgør ikke, om fortolkningen er holdbar. Guiden til transskribering af et interview gennemgår regler og korrektur.

Skema: validitet vs reliabilitet

Skemaet er en skrivehjælp. Vælg den række, der svarer til dit konkrete formål, og tilføj dit eget materiale og din egen begrænsning. Rækkerne er ikke en liste over kontroller, alle projekter skal gennemføre.

I metodeafsnittet

En brugbar begrundelse forbinder et kriterium med en handling og en grænse. Skriv fx, hvad du ville undersøge, hvilken analyse du valgte, hvad du faktisk gjorde, og hvad det ikke giver grundlag for at konkludere. Du kan placere begrundelsen sammen med metodevalget og vende tilbage til de vigtigste konsekvenser i diskussionen.

Omsæt eksemplet til dine egne beslutninger. Hvis du bruger en anden analysetilgang, skal begrundelsen også ændres. En planlagt kontrol er ikke en gennemført kontrol, og en deltagergruppe bliver ikke repræsentativ, fordi eksemplet nævner seks personer. Skriv hellere en konkret afgrænsning end en generel forsikring om høj kvalitet.

Skal du begrunde det samlede design, kan du læse om kvalitativ metode. Skal dine interviews først planlægges, viser guiden til semistrukturerede interviews eksempler på spørgsmål og opfølgning. Lad sammenhængen mellem dine valg være argumentet, også når du beskriver undersøgelsens kvalitet.