ℹSpørreskjemaer på ukrainsk og russisk: Vi tilbyr gratis versjoner av BDI-2, BAI og BYI-II. Les mer her.

Ekvivalensstudier – fra administrering med papirversjon til Q-interactive

WISC-V, som tilbys Q-interactive, bruker normer som baserer seg på data samlet inn med papirutgaven av testen. Et grunnleggende spørsmål dreier seg om hvorvidt den psykometriske informasjonen som finnes for den papirbaserte WISC-V-testen, også er gyldig for den digitale versjonen, eller om det digitale administreringsformatet medfører en så omfattende endring i grensesnittet at normene ikke lenger er pålitelige.  

Det digitale formatet betyr i prinsippet at administrering av testoppgavene skjer ved hjelp av to synkroniserte iPads, der testlederen leser instrukser, registrerer testpersonens svar og tar tiden på en iPad, og testpersonen eksponeres for stimuli og avgir svar på en annen iPad. Nedenfor finner du oversatte utdrag fra ekvivalensstudier som ble gjennomført av Pearson i USA med henblikk på å undersøke hvorvidt normene for papirversjoner kan brukes også når administreringsgrensesnittet endres. Ekvivalensstudier er gjennomført deltest for deltest, og studiedesignen har variert mellom ulike oppgavetyper. Teksten nedenfor gjengir, i tillegg til visse allmenne resonnementer, kortfattet resultat av gjennomførte ekvivalensstudier for WISC-V. Dessuten behandles problemene med deltestene Koding og Symbolleting som ble notert i WISC-V i 2019/2020.  

Det har vært et mål ved tilpasningen til digital administrering med Q-interactive å oppnå samsvar mellom råskårer generert med papirversjonen av testen og den digitale ekvivalenten. Det skal med andre ord ikke ha noen betydning for prestasjonen til en testperson hvorvidt testingen blir gjennomført med papirversjonen eller med Q-interactive. Hvis en slik ekvivalens kan påvises, vil den psykometriske informasjonen som gjelder for papirversjonen (som normer, reliabilitet og validitet), også kunne brukes for resultatene som oppnås med Q-interactive. Dette er én av årsakene til at visse elementer i testenes papirversjoner (for eksempel klosser i deltesten Terningmønster og enkelte svarhefter) er beholdt i originalformatet. Over tid og i nye versjoner av testene er målet å erstatte det aller meste av det fysiske materiellet med interaktive digitale grensesnitt. Men tilpasningen som vil kreves for visse deltester vil i dag true ekvivalensen i råskårer, noe som igjen vil påvirke muligheten for å bruke normer som er innsamlet for papirversjoner. 

Utgangspunktet for alle ekvivalensstudier som er gjennomført, har vært antakelsen om at digitalt assistert administrering kan påvirke testresultatet av flere årsaker, som for eksempel testpersonens og testlederens bruk av iPaden, hvordan testoppgaver/stimuli presenteres for testpersonen, hvor korrekt systemet kan registrere og skåre testpersonens trykk på iPaden, og overgripende effekter av den digitale administreringen.  

Hvis en testoppgave ikke innledningsvis ble vurdert som ekvivalent mellom de to formatene (det vil si at det var grunn til å anta at råskåren ville bli påvirket som følge av den digitale administreringen), ble den bakenforliggende årsaken undersøkt. I prinsippet kan man si at hvis testlederen (for eksempel fordi noen feilkilder elimineres automatisk) blir mer nøyaktig i administreringen eller skåringen, er bruk av Q-interactive et metodologisk fremskritt, og manglende ekvivalens er ikke nødvendigvis et problem. Et rimelig mål for ny teknologi er å produsere resultater som er ekvivalente med dem som oppnås av testledere som bruker papirformatet korrekt. Det bør ikke forventes at det digitale formatet skal reprodusere administrerings- eller skåringsfeil. På den annen side, dersom en digital effekt kommer av at testlederen eller testpersonen er mindre nøyaktig, bør man prioritere å justere Q-interactive slik at feilkilden elimineres. Kun når dette er umulig, bør dette håndteres med normjustering. I de gjennomførte ekvivalensstudiene er administrering og skåring filmet for å gjøre det mulig å analysere effektene av administreringsformatet.

Flere eksperimentelle modeller er benyttet for å undersøke graden av ekvivalens mellom papirversjonen og Q-interactive. Rapportene som er nevnt nedenfor (og flere), kan lastes ned fra: www.pearsonassessments.com/professional-assessments/digital-solutions/q-interactive/resources.html?tab=research. I disse rapportene redegjøres det for de ulike fremgangsmåtene, som er tilpasset oppgavetypene i de ulike deltestene.  

 

WISC-V

I USA er en rekke studier gjennomført med henblikk på å undersøke ekvivalensen mellom papirversjonen av WISC-V og den digitale versjonen som administreres med Q-interactive. Disse studiene har hatt ulike formål:  

Å sikre at de to administreringsmetodene genererer sammenlignbare resultater – det vil si at samme oppsett med normer kan brukes til både papirversjonen og den digitale versjonen i kliniske så vel som ikke-kliniske utvalg. Disse studiene omfattet ikke Koding og Symbolleting.  

Å sikre at de digitale versjonene av Koding og Symbolleting er likeverdige med versjonene som administreres på papir, til tross for endringene i oppgaver og grensesnitt som er gjort i de digitale versjonene.  

I det ikke-kliniske utvalget oppviste bare tre av de 18 deltestene (den amerikanske versjonen av WISC-V har flere deltester enn de ikke-engelskspråklige) en signifikant effekt av format på 5 %-nivå: Terningmønster, Resonnering og Regning. Ingen av effektstørrelsene overskred imidlertid det oppsatte kriteriet d = 0.2. I kliniske utvalg er studier gjennomført i fire særskilte grupper: barn med lett intellektuell funksjonsnedsettelse, særlig begavede barn, barn med ADHD og barn med autisme. I disse studiene ble det konkludert med at resultatene av digital administrering med Q-interactive for disse gruppene måler samme konstrukt som papirversjonen av WISC-V, og at de i like stor utstrekning, og på en meningsfull måte, klarer å differensiere mellom barn som tilhører særskilte grupper, og matchede kontrollgrupper. Mer informasjon finnes i Equivalence of Q-interactive and Paper Administrations of Cognitive Tasks: WISC-V, i Q-interactive Special Group Studies: The WISC-V and Children with Intellectual Giftedness and Intellectual Disability og i Q-interactive Special Group Studies: The WISC–V and Children with Autism Spectrum Disorder and Accompanying Language Impairment or Attention-Deficit/Hyperactivity Disorder 

I motsetning til øvrige deltester har Koding og Symbolleting på Q-interactive ikke vært parallelle med papirversjonene. Tilpasning av disse deltestene til et digitalt format innebar et nytt grensesnitt mellom oppgavene og barnet. For eksempel ble svarene markert ved at barnet trykket på iPaden, stimuli ble presentert automatisk etter at barnet hadde svart, kravet til at barnet skulle skrive, ble eliminert, og egenkorrigering av svar var ikke lenger mulig. Ettersom de digitale versjonene av disse deltestene ikke oppviste råskåreekvivalens i forhold til papirversjonene, ble det foretatt en statistisk konverteringsprosess, skalaekvivalering (eng. equating) for å tilpasse råskårene fra de digitale versjonene slik at de ble likeverdige med råskårene fra papirversjonene, det vil si at omregning av råskårer til skalaskårer indikerte samme grad av prestasjon for begge administreringsformatene. Mer informasjon om Koding og Symbolleting finnes i WISC-V Coding and Symbol Search in Digital format: Reliability, Validity, Special Group Studies, and Interpretation 

Etter en tids bruk av de tilpassede skandinaviske normene, basert på resultatene av de amerikanske ekvivalensstudiene, så man imidlertid forhøyede skalaskårer for Koding. Resultatet av den digitale versjonen av deltesten var at skalaskårene var forhøyet med i gjennomsnitt 2.2 (klinisk utvalg), til 3.4 (ikke-klinisk utvalg), som tilsvarer et standardavvik på .73 til 1.3. Denne forhøyningen innebar en mulig økning i indeksskårene for Prosesseringshastighetsindeks (PHI) med 5–9 standardskårer og for Fullskala-IQ (FSIQ) med 2–3 standardskårer. Dette førte til at Koding ble deaktivert i Q-interactive i 2019. Årsaken til de forhøyede verdiene var på det tidspunktet ikke helt klarlagt, men senere studier har vist at den tekniske ytelsen til iPaden som brukes, er av betydning. Nyere og raskere iPad-versjoner muliggjør besvarelse av flere oppgaver, og noen barn hadde derfor mulighet til å gjennomføre flere oppgaver. I forbindelse med dette funnet – og til tross for at ingen studier hadde vist forhøyede resultater – ble også den digitale versjonen av Symbolleting deaktivert for å unngå fremtidige problemer.  

 

Maj 2022

 

 

Registrer deg for nyhetsbrevet vårt

Ønsker du aktuell informasjon om tester og kurs hos oss? Registrer deg for nyhetsbrevet.

top