torsdag 3. november 2016

Skal vi tro på Pisa? spør Svein Sjøberg


Skal vi tro på Pisa?
Er Pisa en god test? Svaret avhenger av hva man hevder at Pisa måler. Det er da rimelig å ta utgangspunkt i hva OECD selv sier om dette. Her er de første ordene i de internasjonale rapportene, gjentatt helt siden 1999:

Hvor godt er ungdommer forberedt til å møte framtidas utfordringer? Kan de analysere, resonnere og kommunisere sine ideer på en effektiv måte? Er de i stand til å fortsette å lære hele livet? 


Dette er jo ikke småtterier. Hvis Pisa virkelig klarer å måle alt dette, er det lett å forstå at Pisa har en enorm innflytelse. Det framstilles også som om Pisa gir en prognose for framtiden til så vel de enkelte individer som for landet økonomi og skolesystem. Kan vi virkelig ta dette bokstavelig? Kan man besvare slike spørsmål basert på en to og en halv times skriftlig test av 15-årige elever, der elevene sitter hver for seg, uten kommunikasjon med hverandre eller med internett og besvarer et sett oppgaver som er identiske i alle de 70 land som deltar?

Pisa-besvarelsene er dessuten anonyme, de samles inn når tiden er ute. Elevene får aldri diskutert eller gjennomgått oppgavene, elevene får ikke vite resultatet, men testen teller ikke, verken for elever, lærer, klasse eller skole. Det er, ikke uventet, påvist at ikke alle lands 15-åringer yter sitt beste i en slik situasjon.

Ingen test er bedre enn de oppgavene som blir gitt. Det blir selvsagt viktig å se på selve Pisa-testen, for deretter å vurdere om testen måler det den hevder å måle. Det er en lang vei som fører fram til den testen som elevene besvarer, men her er noen viktige punkter.

Pisa er en utvalgsundersøkelse. I Pisa følger man ikke elever over tid, men man får et øyeblikksbilde. Målgruppen er landets 15-åringer, og man trekker et representativt utvalg (ca 5000) for å representere denne gruppen. Da velger man først ut skoler, og innen disse skolene trekker man enkeltindivider, ikke hele klasser. Med et slikt forskningsdesign kan man i minimal grad si noe om elevenes læringsprosesser eller hva slags undervisning som kan forklare gode eller problematiske resultater. Man kan, i beste fall, bare etablere sammenhenger i form av korrelasjoner mellom ulike variable. Og, som kjent: man må ikke forveksle korrelasjon med årsak-virkning.

Basert på Pisa-målinger kan man imidlertid få et mål på ulikhet i resultater mellom skoler, og man kan måle i hvilken grad sosioøkonomisk status forklarer ulikhet i faglig skåre. Etter fem runder med Pisa-testing kan man også se hvordan ulikhetene har utviklet seg over tid. De svenske Pisa-forskerne har i sine rapporter valgt å legge stor vekt på akkurat disse poengene, og dette var sentralt i den siste svenske valgkampen.

Det er imidlertid rangeringen av land basert på gjennomsnittlig Pisa-skåre som får den store oppmerksomheten. Denne rangeringen oppfattes som et slags verdensmesterskap for de ulike lands skole. Pisa-resultatene skaper panikk i nesten alle land, også de som ligger nær toppen. Men Pisa sier som nevnt lite om årsak-virkning. Panikken i de ulike landene fører til et krav og et behov for å forandre skolen. Politikere vil gjerne vise handlekraft, og de innfører forandringer, tiltak og store reformer for å rette opp situasjonen, helst så raskt som mulig. Dette åpner for kreativitet og fri fantasi, siden Pisa ikke forteller noe om hva som kan eller bør gjøres.

En grunnleggende avgrensning ved Pisa dreier seg selvsagt om testens faglige innhold. OECD valgte på et tidlig stadium ut lesing, matematikk og naturfag. Disse valgene følger naturlig av OECDs mandat, nemlig å fremme økonomisk vekst og utvikling i en global markedsøkonomi. Pisa-skåre oppfattes og presenteres som en indikator på landets framtidige økonomiske konkurranseevne. Flere studier viser imidlertid at det ikke noen positiv sammenheng mellom denne type testskåre og et lands økonomiske utvikling.

Valget av Pisa-fagene betyr at alle andre fag i skolen er utelatt. (Pisa-fagene er for øvrig de samme fag som testes i de to andre innflytelsesrike studiene, TIMSS og PIRLS.) I disse studiene finner man ikke noe om samfunn, historie, geografi, fremmedspråk, litteratur, kunst, kultur, etikk osv. Det kan være interessant at siste runde i Pisa fant plass til ett fag til, nemlig "financial literacy". De nordiske landene deltok ikke i denne modulen, men det gjorde 40 andre land.

Neste steg i utviklingen av tester er å lage et faglig rammeverk for testingen. Her har man engasjert internasjonale anerkjent forskere, også norske. Disse gruppene har nedlagt et betydelig arbeid i å utvikle perspektiver og kategoriene for kompetanser som er kjernen i Pisa-testingen.

Neste skritt mot Pisa-testen er det mest problematiske: å lage oppgaver som tester de kompetanser som beskrives i rammeverket, og som kan brukes i alle slags land og kulturer. Pisa-forskerne i OECD-landene kan komme med forslag til oppgaver som passer rammeverket, og oppgavene skal være basert på “authentic texts” knyttet til “real life situations”. Et stort antall oppgaver plukkes ut for videre vurdering gjennom pretesting, revisjoner, oversettelse og pilottesting. Prosessen er grundig og involverer mange underkomiteer og intens møteaktivitet.

Et viktig poeng er å lage en "fair test". Det betyr at man må fjerne oppgaver som ikke fungerer som de skal, rent statistisk. I praksis betyr dette at oppgaver som har tilknytning til bestemte lands kultur, historie, naturmiljø, flora, fauna må fjernes. Oppgavene må være dekontekstualisert, ingen må kjenne seg igjen i oppgavene. Så selv om ambisjonen er knyttet til å bruke "authentic texts" i "real life-situations", vil hensynet til rettferdig testing gjøre slike ambisjoner urealiserbare.

Helt eksplisitt står det at oppgavene ikke må være knyttet til landets læreplan. Likevel presenteres Pisa-resultatene som universelt gyldige mål for kvaliteten til et lands skolesystem. Det er ikke helt lett å gripe logikken.

Til tross for disse åpenbare problemene med å lage gode og gyldige oppgaver, er det viktig å se på de oppgavene som faktisk blir brukt. En slik analyse er ikke enkel, først og fremst fordi oppgavene i hovedsak er hemmelige. (Mange av oppgavene skal brukes ved kommende Pisa-tester, og man vil unngå "teach-to-the-test") Etter hvert er imidlertid mange oppgaver blitt tilgjengelige, og mange av disse har fått betydelig kritikk, også fra et faglig perspektiv.

Oversettelse av oppgavene er åpenbart et helt sentralt tema. Her følger man et detaljert og strengt regelverk. Men verken poesi eller fagprosa kan oversettes "korrekt" ut fra oppsatte regler og prosedyrer. Selv mellom de tre skandinaviske land er det store forskjeller i oversettelse, noe man kan finne ut ved å oppsøke nettsidene. Noen ganger ser vi til og med oppgaver som er substansielt forandret eller "forbedret".

Selv innen de fagene som faktisk er med i Pisa, er det bare enkelte områder som er tatt med. For eksempel er naturfag et eksperimentelt fag, der forsøk, eksperimenter og feltarbeid er viktig. Ikke noe av dette testes i Pisa, men er sentralt i mange lands læreplaner. Det viser seg for øvrig at Pisa-skåre korrelerer negativt med bruk av eksperimenter og forsøk og med at elevene utvikler og tester hypoteser, noe som nettopp er en sentral del av en autentisk undervisning i naturfag. Hvis man skal forberede seg til slike tester, lønner det seg neppe med å utføre eksperimenter eller dra på feltarbeid. En slik negativ sammenheng finnes det også mellom Pisa-skåre og bruk av IKT, informasjonsteknologi, noe som burde mane til en viss ettertanke.

Veien fra testresultat på de enkelte oppgaven til den Pisa-skår som blir brukt i analysene er både komplisert og kontroversiell. Selv folk med skolering i statistikk har vanskelig for å se inn i de detaljer som fører fra råskåre på enkeltoppgaver fram til en publisert samlet Pisa-skåre. En dansk professor i statistikk, Svend Kreiner, viser at han, basert på Pisa-data, vil kunne få Danmark til å havne på alt fra nummer 2 til 42 ved bruk av denne statistikken.

Hva er konklusjonene? Er Pisa en "god test"? Hvis man vurderer dette ut fra hva OECD hevder at Pisa måler, slik denne kronikken startet med, er svaret et klart Nei. Men Pisa-data kan gi noen indikasjoner for hvordan ulikhet i prestasjoner mellom skoler og sosioøkonomisk grupper utvikler seg over tid.

Pisas faglige rammeverk kan også gi grunnlag for konstruktive debatter om skolens faglige innhold, men det er stort sett ikke slik Pisa blir brukt..

En ting synes sikkert: Pisa forsvinner ikke, og jeg tror ikke det er noen god ide at Norge, som eneste OECD-land, skal trekke seg fra Pisa. Men vi må gi Pisa den plass den fortjener. Ikke som Sannheten om skolen, som en av mange kilder til informasjon og refleksjon om skole og samfunn. Pisa gir et vell av informasjon, og man kan fortelle historier om både suksess og fiasko basert på Pisa.

De norske resultatene på Pisa har hele tiden ligget stabilt omtrent midt i laget av de rike OECD-landene. I Norge blir det presentert og forstått som en fiasko og en krise, for det er som kjent "typisk norsk å være god".

Men hva sier OECD om norsk skole?

De første ordene i OECDs rapport om Norge er slik:

“Norway: Student performance in PISA is high, […] and with less dependence on socio-economic factors than in other OECD countries.”


Av Svein Sjøberg.

Svein Sjøberg er fysiker, pedagog og skoleforsker. Han er professor emeritus i naturfagdidaktikk, et fagfelt som han selv har etablert og satt preg på, også internasjonalt. Han mener at internasjonale tester, spesielt PISA, har skapt krise og panikk i nær sagt alle land og at de leder til en politikk som skyver til side skolens og lærernes brede samfunnmandat til fordel for standardisering, konkurranse, marked, kommersialisering og privatisering. Han prøver å bidra med informert kritikk og debatt om slike forhold, og om hva slags skole vi ønsker å ha.


-------------------------------------------------------------------------------------------------------------------------
SV, Senterpartiet og Utdanningsforbundet mener at vi bør slutte med PISA-undersøkelsene i norsk skole. At kunnskapsministeren er uenig er ikke overraskende, men han er likevel åpen for å diskutere innretningen og hyppigheten på PISA-testene. Han sier samtidig at det er en veldig skadelig symbolpolitikk.

Spørsmålet blir derfor om PISA-undersøkelsene har noen framtid i norsk skole.


Jeg inviterer med dette til debatt på Lærerbloggen. Hvilke argumenter taler for at vi bør fortsette, og hvilke argumenter taler for at vi ikke bør fortsette? Er testing på denne måten i det hele tatt nyttig for skolen? Ligger det et læringspotensial i dette, eller bidrar det bare til å synliggjøre forskjellene mellom land?

Hvis du enten er for eller mot PISA inviterer jeg til meningsutveksling på Lærerbloggen. Send ditt bidrag til: martin.johannessen@nionett.no.


Innleggene vil bli publisert fortløpende - og du finner de her.

Ingen kommentarer:

Legg inn en kommentar