Ruotsin A-oppimäärien tavoitteet ja opettajien käsityksiä niiden arvioinnista

Artikkeli käsittelee äidinkielenomaisen ruotsin oppimäärän tavoitteita ja opettajien käsityksiä näihin tavoitteisiin perustuvasta arvioinnista. Äidinkielenomaisen ruotsin oppimäärän tavoitteita verrataan muiden ruotsin oppimäärien tavoitteisiin ja havaitaan tavoitetasoon liittyviä eroja. Opettajien arviointikäsityksiä kuvataan ja analysoidaan suhteessa arvioinnin kohteisiin: oppimisen prosessiin, osaamiseen ja työskentelyyn. Lopuksi esitetään suosituksia äidinkielenomaisen ruotsin opetuksen mahdollistamiseksi nykyistä laajemmin.

Julkaistu: 6. syyskuuta 2023 | Kirjoittaneet: Raili Hilden, Siv Björklund, Sanna Heittola, Sofie Henricson ja Hanna Lehti-Eklund

Tavoitteet arvioinnin perustana

Arviointi perustuu aina tavoitteisiin, jotka on asetettu erikseen opetukselle ja oppimiselle. Oppiainekohtaisiin tavoitteisiin sisällytetään meillä Suomessa myös työskentely tavoitteiden saavuttamiseksi. Tavoitteet ruotsille toisena kotimaisena kielenä on asetettu kolmessa oppimäärässä (Opetushallitus 2014). Tavallisin suomenkielisten oppilaiden opiskelema oppimäärä on keskipitkä B1-oppimäärä. Seuraavaksi eniten opiskellaan A-oppimääriä, joista harvinaisin on äidinkielenomainen oppimäärä eli ÄiRu (Opetushallitus 2023; Heittola & Henricson 2022). Vertaamme aluksi ÄiRu-tavoitteita A1-oppimäärän tavoitteisiin opettajan toiminnan kannalta.

Kymmenestä tavoitealueesta vain kaksi on sanoitettu täysin samoin ÄiRun ja A1-oppimäärän kuvauksissa. Nämä liittyvät kielelliseen tietoisuuteen (T3) ja kielenopiskelutaitoihin (T4), jotka molemmat ilmentävät myös yleistä kognitiivista kypsyyttä. Pieniä eroja on tavoitteiden T1 ja T5 sanoituksessa. Äirun muotoilut ovat vaativampia sisältäen myös ruotsin kielen asemaan liittyvien arvojen pohdinnan (T1). A1-oppilaiden itsenäisyyttä ja kielitaidon luovaa soveltamista tuetaan, ÄiRu-opettajat kehittävät sitä.

Muiden tavoitteiden muotoilu poikkeaa enemmän A-oppimäärien kesken. T3-kuvaus kannustaa A1/A2 -oppimäärissä ruotsinkielisten toimintaympäristöjen ja sisältöjen löytämiseen, kun taas ÄiRu-opetuksessa löydetään jo mahdollisuuksia käyttää ruotsia niissä. Vuorovaikutustavoitteen T6 mukaisesti ÄiRu-opetuksessa tavoitellaan aloitteellista kielellistä toimintaa myös vaativissa tilanteissa, kun taas A1-oppimäärässä tilanteet ovat jokapäiväisiä. Samaan alueeseen kuuluva T7 painottuu A1/A2 -oppimäärissä kielellisen ilmaisun muotoihin. ÄiRu-tavoite T7 mainitsee vain keskustelustrategisia tavoitteita (puheenvuoron ottaminen, merkityksestä neuvottelu) yksilöimättä niiden kielellisiä ilmaisumuotoja. (Opetushallitus 2014; Opetushallitus 2020.)

Kulttuurisesti sopivan kielellisen vuorovaikutuksen osalta (T8) A1/A2-opetus ohjaa kiinnittämään huomiota siihen, mutta ÄiRu-opetuksessa näitä vaatimuksia jo harjoitellaan eri tekstilajien parissa.

Tekstien tulkintataidossa (T9) ÄiRu-opetus pyrkii tarjoamaan oppilaalle monipuolisia ja merkityksellisiä tekstejä, jotka harjoittavat myös päättelyä ja erilaisia ymmärtämisstrategioita. A1/A2 -opetuksen tekstit ovat selväpiirteisiä asiatekstejä, ja niiden käsittelystrategioissa korostuu merkityksen päättely ja keskeisen sisällön ymmärtäminen. (Opetushallitus 2014.)

Tuottamistaidoissa (T10) ÄiRu-opetus tähtää äidinkielen opetuksesta tuttuihin viestintämuotoihin (esitelmät, mielipidekirjoitukset ja tarinat) sekä sisältöjen monipuolisuuden että kielellisen toteutuksen osalta. A1/A2-tavoitteessa mainitaan myös laajenevat aihepiirit, mutta kielellinen ilmaisuvarasto ja sen hallinta on ÄiRu-tavoitetta huomattavasti vaatimattomampi. (Opetushallitus 2014.)

Erot kielellisten tavoitteiden muotoilussa heijastavat luonnollisesti oppimäärien eri tavoitetasoja perusopetuksen päättyessä. Suomalaisten opetussuunnitelmien perusteissa käytetään tasoasteikkoa, joka on sovellus eurooppalaisen viitekehyksen tasojärjestelmästä (EVK 2001/2003; Hilden & Takala 2007). Tällä asteikolla ÄiRu-tavoite arvosanalle 8 perusopetuksen päättyessä on B1.2 vuorovaikutuksessa, tulkinnassa ja tuottamisessa. A1/A2-oppimäärässä vastaava taso on A2.2 vuorovaikutuksessa ja tekstien tulkinnassa, mutta tuottamisessa vain A2.1. Kaikissa viestintätoiminnoissa ero on vähintään yhden tasoaskelman (A2.1 àB1.1) laajuinen. (Opetushallitus 2014.)

ÄiRu-oppimäärässä tavoiteltava B1.2-tason kielitaito ei välttämättä edellytä jatkuvaa altistusta kohdekielelle aidossa ympäristössä, vaan opetusta on täysin mahdollista toteuttaa myös muualla kuin kaksikielisillä seuduilla. Myös A-oppimääriä opettavien kelpoisten ruotsinopettajien kielitaito on yliopistojen kurssitarjonnan mukaan vankkaa C1-tasoa, joten opetuksen eriyttäminen ÄiRun suuntaan on senkin puolesta realistista. Mahdollisuus valita äidinkielenomainen oppimäärä tulisi vain tunnistaa ja resursoida kunnissa paremmin.

Mitä A-ruotsin opettajat ajattelevat arvioinnista?

Arviointi jaetaan oppimista tukevaan formatiiviseen arviointiin ja toisaalta osaamisen tilaa kuvaavaan summatiiviseen arviointiin (Scriven 1967). Näiden lisäksi arvioidaan myös työskentelyä sekä opiskeluprosessin aikana että sisällytettynä todistusarvosanoihin. Käyttäytymisen arviointi on erotettu oppiaineiden arvosanoista. (Opetushallitus, 2020.)

Opettajan arviointiosaamista käsittelevässä kirjallisuudessa on jo pitkään tunnistettu kolme osa-aluetta: tieto, taidot ja suhtautumistavat (esim. Pastore & Andrade 2019). Opettajan arvioinnin kohteet ovat oppilaiden oppimisprosessi eli opiskelu, osaaminen ja työskentely. Taulukko 1 havainnollistaa menettelyn ja sisältää esimerkkejä kustakin kategoriasta.

Äidinkielenomaisen ruotsin oppimäärää tutkivassa ÄiRu-hankkeessa (Henricson, Heittola, Björklund, Lehti-Eklund & Forsberg 2022) kerättiin haastatteluaineisto 15 ruotsinopettajalta, joista neljä opetti A1/A2-oppimäärää, neljä oli ÄiRu-opettajia ja yksi kielikylpyopettaja. Kuusi opetti ruotsin B-oppimäärää. A-oppimäärien (A1/A2 ja ÄiRu) opettajien ja yhden kielikylpyopettajan vastauksia jäsennettiin yhtäältä suhteessa kolmeen teoriaperustaiseen kategoriaan (tieto, taito ja suhtautuminen) ja toisaalta opetussuunnitelman perusteissa nimettyihin arvioinnin kohteisiin (oppiminen, osaaminen ja työskentely).

 

Arviointiosaamisen alueet 1–3

Arvioinnin kohteet A-C

1. Tietoperusta

2. Taito ja käytänteet

 

3. Käsitykset ja arvostukset

 

A.Oppiminen/Opiskelu

* et se ei o vaa se pelkästään se niinku kielitaito

*no mulla on seinällä täällä oppilaille sellaset lyhennelmät noista noista tota tavotteista

*tässä vaiheessa vielä se tuottaminen ja (.) niinku niin tuottaminen on tärkeempää

B. Osaaminen

 * att det inte bara är den muntliga delen

*sitte kokeissakin, joskus mul on niit plustehtävii

 

*se ei ole vaan kielitaidon arviointia ku siinä arvioidaan kaikenlaista ihan ihan hirveä määrä juttuja

C. Työskentely

 * Ku mä sano et jokaine oppitunti ja sitte kulttuuritaidot ja tiedot ja työ, työskentelytaidot on kans se mitä mä arvioin...

*sitte mä laitan Wilman tuntimerkintöihin niin koko ajan niinku palautetta

 

Taulukko 1. Opettajan arviointiosaamisen alueet ja arvioinnin kohteet perusopetuksessa aineistoesimerkein

 

1A. Tieto oppimisprosessista

Ilmaistessaan oppimisprosessia koskevaa tietoa opettajat viittasivat tavoitelähtöisyyteen, jossa opetussuunnitelmaan kirjatut tavoitteet ohjaavat opiskelua:

me ollaan site kirjattu ne just ne teemakokonaisuudet tai semmoset että että mitä milläki vuodella käydään läpi ja arvioidaan ja= just ne kielelliset tavoitteet (LI_SB1)

Opettajat tunnistavat myös oman vastuunsa siitä, että oppilaat tietävät, mitkä ovat tavoitteet ja miten niitä arvioidaan:

n:o ehkä no mulla on seinällä täällä oppilaille sellaset lyhennelmät noista noista tota tavotteista että semosilla oppilaan kielellä muutamalla sanalla laitettu niita kohtia tonne et sit mä saatan viitata viitata sinne jos ne kysyy jotain arviointiin liittyvää

Opettajat tiedostavat ruotsin kielen muuttuvan roolin oppimisen kohteena ja välineenä. Seuraava on kielikylpyopettajan vastaus, mutta pätee myös pitemmälle edistyneeseen äidinkielenomaiseen opetukseen:

no tota tää kielikylpy periaatehan menee vähän silleen että se on ensin enemmän niinku op- oppimisen väline, mutta sitten siitä [kielestä] tulee enemmän oppimisen kohde myöskin mitä pitemmälle koulussa mennään (LI_SB1)

 

1B. Tieto osaamisesta

Opettajan tiedon oppilaiden osaamisesta tulee vastata opetussuunnitelmaa. Seuraava opettaja toteaa tiedostavansa, ettei oppilaiden usein vakuuttava suullinen kielitaito ole riittävä oppimäärän tavoitteisiin:

Och jag försöker betona åt dem att de måste tänka på att det inte bara är den muntliga delen (LI_ÄIRU3)

 

1C. Tieto työskentelystä

Opettajan tulee hankkia tietoa oppilaiden työskentelystä, joka on arvioinnin kohde ja sisältyy myös arvosanoihin. Työskentelyn näkyvyys ja sen todentaminen tuottavat ongelmia sekä opettajalle että oppilaille:

ne kyllä tekee paljon töitä ja mä nään heidän osaamisen mutta he ei niinku uskalla tuoda sitä sen kummemmin paljon esille (LI_A1)

 

2A. Oppimisprosessin arviointikäytänteet

Opettajan taito arvioida oppilaan oppimisprosessia opiskelun aikana konkretisoituu opettajan käytänteissä, hänen asettamissaan tehtävissä ja niiden formatiivisessa arvioinnissa, jonka tarkoitus on tukea oppimista ja antaa palautetta, joka vie prosessia eteenpäin tavoitteiden suuntaan. Monipuolinen arviointi vaatii jatkuvaa huomiota:

mä yritän e:h arvioida monipuolisesti koko ajan ja mä yritän että mun oppitunnilla on kokoaika monipuolisesti erilaista juttua tarjolla ja monta eri osa- aluetta samalla oppitunnilla (LI_A1)

Oppilaiden ymmärryksen lisääminen arvioinnista on tärkeää heidän itsesäätelytaitonsa kehittymisen kannalta, ja tässä opettajan rooli on ratkaiseva.

arviointi elää vielä niinku ku siinä (täs) vähän miettii niin se mut että kyl mä pyrin niinku näyttää (aina) käydä läpi et mikä on meidän jaksoja (LI_A1)

Se, miten usein ja painokkaasti eri viestintätoimintoja harjoitetaan opiskelun aikana, riippuu oppilaiden iästä ja opiskelun vaiheesta:

että että kieli- niinku tai nyt näillä alkuluokilla panostetaan siihen tuottamiseen enemmän ku siihen korjaamisen tai että meneekö kaikki niinku ihan oikeen (LI_SB1)

 

2B. Osaamisen arvioinnin käytänteet

Oppilaan taidon arviointi hänen osoittamansa osaamisen kautta tulee ilmi kokeissa tai muissa näytöissä, joita opettaja hankkii summatiivisen arviointinsa tueksi ja joissa suoriutumista on mahdollista verrata tavoitteista johdettuihin kriteereihin.

Oppilaan eri taitotasojen osoittaminen kielellisessä suorituksessa vaatii opettajalta huolellista didaktista suunnittelua, jotta arvioinnin perustana oleva tieto on mahdollisimman täsmällistä:

sitten kun on oikeen eritasosia oppilaita niin sit mä teen myös kahdentasosia kokeita et teen semmosen helpomman version josta sit ei voi saada kymppiä et siitä voi saada kasin tai ysin (LI_A1)

Kielitaidon eri laatupiirteet pohdituttavat opettajaa etenkin kun opetussuunnitelman perusteissa esimerkiksi sujuvuus, kielellinen rikkaus ja oikeakielisyys maastoutuvat holistiseen viestinnällisyyteen. Opettaja voi huomioida eri piirteitä joustavasti:

nyt taas tänä vuonna mä oon havahtunu siihen et mul on sit jotenki tosi paljon painottu arviointi kielioppiin (LI_A1)

Päättöarvioinnin täsmennetyt arvosanakuvaukset astuivat voimaan 1.8.2021, mutta toistaiseksi ne eivät vaikuta auttaneen osaamisen täsmällisessä arvioinnissa. Ainakin seuraavat vastaukset heijastavat hapuilua osaamisen kohdennuksessa arvosanakuvauksiin:

nyt me ollaan kyllä niille annettu arvosanan, vähän niin kuin miten mä sanon, enemmän sillä tasolla niin kuin mä antaisin mun ruotsinkielisille oppilaille modersmålsvitsord eikä jos antais niille niin kuin a1-arvosanan niin se olisi varmaan korkeampi kuin minkä mä nyt on antanut, mutt siell on kuitenki se merkintä todistuksessa että niillä on ollut sitä äiruä (LI_ÄIRU2)

Jag är ju inte så sträng, jag får se mellan fingrarna förstås och bedöma på olika sätt (LI_ÄIRU3)

mut sit se kuitenki menee vähän sillai mututuntumalla että no must tuntuu et se puhuu aika hyvin ((hymyilee)) ja sit siihen ei oo sellasta mittaria muuta ku se oma fiilis (LI_SB1)

 

2C. Työskentelyn arviointikäytänteet

Työskentelyn arviointikäytänteissä korostui prosessiomaiselle taidolle luonteenomainen formatiivinen palaute:

sitte mä laitan Wilman tuntimerkintöihin niin koko ajan niinku palautetta

 

3A. Käsitykset oppimisprosessin arvioinnista

Käsityksillä tarkoitetaan niitä opettajien arviointiin liittyviä mielipiteitä ja uskomuksia, jotka koskevat oppilaan oppimisprosessia eli opiskelua, osaamista ja työskentelyä.

Opettajat arvottavat kielellisiä viestintätoimintoja oppilaan iän ja opiskeluvaiheen mukaan:

mutta tota tässä vaiheessa vielä se tuottaminen ja (.) niinku niin tuottaminen on tärkeempää (LI_SB1)

 

3B. Käsitykset osaamisen arvioinnista

Haastattelu tuotti paljon tietoa opettajien käsityksistä osaamisen eri puolien arvioinnista ja niiden keskinäisestä painotuksesta. Käsityksistä osa pohjautuu tietoon ja sovellettuihin käytänteisiin, osa taas yleisempiin arvoihin ja kokemuksiin.

Arvioitavien tavoitteiden laajuutta ja painotusohjeiden puuttumista kommentoitiin tiedostaen samalla käytännön seuraukset opettajan arvioinnissa:

mun mielestä tää arviointi tällä hetkellä on niin miten mä nyt sanoisin kun se ei ole vaan kielitaidon arviointia ku siinä arvioidaan kaikenlaista ihan ihan hirveä määrä juttuja ja se on liian niinkun opettajasta kiinni miten hän painottaa ja miten hän arvioi vaikka kielellistä (.) e:h tietoisuutta kielitietoisuutta (LI_A1)

Päättöarvioinnin arvosteluohjeisto koettiin epämääräiseksi huolimatta tarkennetuista arvosanakuvauksista:

se on ollut tosi vaikea, koska mä on kyllä opetussuunnitelmaa kattonu ja mä on kattonut mitä kuuluu tehä ja mikä siihen niin kuin mitä kuuluisi opettaa ja sitt myös niitä tavoitteita mutt siinä on kyllä niin niin kuin, mikä se on ruotsiksi luddigt, tiedäksä (LI_ÄIRU2)

Jo, som sagt, hela gruppen kan prata svenska men vi kan inte bara bedöma det här för att här pratar de svenska utan vi måste vara lite strängare. Så att det här kommer kanske att skilja på ett äiru-vitsord här än på en mer finskspråkig ort för att där är de säkert jätteglada om eleverna skulle kunna hälften av det här. Så att svårt med bedömningen, ja. (LI_ÄIRU3)

 

3C. Käsitykset työskentelyn arvioinnista

Analysoiduista haastatteluista ei ilmennyt opettajien suhtautuminen erityisesti työskentelyn arviointiin. Haastattelussa ei myöskään kysytty erikseen esimerkiksi kotitehtävien suorittamisesta tai muista mahdollisesti työskentelyksi luettavista toiminnoista.

Johtopäätöksiä opettajien arviointikäsityksistä

Opettajien arviointitietopohjaan kuuluu tieto tavoitteista ja arviointiperusteista ja myös ymmärrys siitä, miten tämä tieto välitetään oppilaille heidän itsesäätelynsä ja vastuullisuutensa kehittämiseksi. Opettajan arviointitaidot ja -käytänteet nivoutuvat opetuksessa niiden tietopohjaan, sillä molemmat ovat välttämättömiä.

Koska arvioitavia tavoitteita on paljon, opettajan on hyödyllistä kehittää yhteistyöhön perustuvia käytänteitä. Oppilaita voidaan osallistaa suunnittelemaan, toteuttamaan ja arvioimaan omaa ja kavereiden opiskelua ja sen tuottamaa oppimista. Yhdessä oppilaiden kanssa voidaan suunnitella opiskelujaksoja, joissa eri tavoitealueet nivoutuvat toisiinsa, ja ruotsin kielen rooli määrittyy tarkoituksenmukaisesti. Myös yhteistyö eri aineiden opettajien välillä rikastaa ja luontevoittaa kielenkäyttöä. Laaja-alaisten oppimiskokonaisuuksien toteuttamisessa luettu, kirjoitettu ja monimediainen kielenkäyttö sopeutuu erilaisiin tarkoituksiin ja tilanteisiin, joissa huomiota ja palautetta voidaan kohdistaa sisällöllisen ja kielellisen suorituksen eri puoliin.

Summatiivista arviointia hankaloittaa haastateltujen opettajien mukaan arvosanakuvausten sisältöjen runsaus ja eri osatekijöiden välisen painotusohjeistuksen puute. Näitä täsmentämällä opettajien arviointityö sujuvoituisi ja arvosanojen yhdenvertaisuus paranisi. Arvosanaan sisältyvät myös kulttuurisen moninaisuuden, kielitietoisuuden ja kielenopiskelutaitojen tavoitteet, jotka äidinkielenomaisessa oppimäärässä ovat läsnä ehkä tuntuvammin kuin lyhyemmissä oppimäärissä, mutta niiden arviointi koetaan vaikeaksi. Tilannetta auttaisi kohdennettu täydennyskoulutus ja olemassa olevien välineiden kuten kielisalkun ja eurooppalaisen viitekehyksen täydennysosan (Euroopan neuvosto 2020) hyödyntämiseen perehdyttäminen.

Koska äidinkielenomaista oppimäärää opiskelevia on melko vähän, opettajan on vaikea muodostaa käsitystä tyypillisestä osaamisesta toisin kuin esimerkiksi isoissa B1-ryhmissä. Vaikka kriteeriperustaisessa arvioinnissa oppilaita ei verrata toisiinsa, tuntuma isomman joukon tavanomaisesta suoriutumisesta tarjoaa kuitenkin hyödyllisiä kiinnekohtia. Opettajia auttaisi, jos arvosanoja konkretisoivia maamerkkisuorituksia julkaistaisiin opetussuunnitelman perusteisiin kuuluvan taitotasoasteikon kaikilta tasoilta.

 

Raili Hilden on kielididaktiikan apulaisprofessori Helsingin yliopistossa.
Siv Björklund on kielikylvyn ja monikielisyyden professori Åbo Akademissa.
Sanna Heittola on tutkijatohtori Helsingin yliopistossa.
Sofie Henricson on pohjoismaisten kielten apulaisprofessori Helsingin yliopistossa.
Hanna Lehti-Eklund on pohjoismaisten kielten professori (emerita) Helsingin yliopistossa.

 

Lähteet

Euroopan neuvosto, 2020. Common European framework of reference for languages Learning, teaching, assessment. Companion volume. https://rm.coe.int/common-european-framework-of-reference-for-languages-learning-teaching/16809ea0d4

EVK, 2001/2003. Eurooppalainen viitekehys: Kielten oppimisen, opettamisen ja arvioinnin yhteinen eurooppalainen viitekehys. Helsinki: Otava. Alkuteoksesta Common European Framework of Reference for Languages: Learning, teaching, assessment. Council of Europe. Cambridge University Press. (2001) suomentaneet I. Huttunen ja H. Jaakkola.

Henricson, S., Heittola, S., Björklund, S., Lehti-Eklund, H. & Forsberg, M. 2022. Äiru hoi! Äidinkielenomaisen ruotsin opetus suomenkielisissä peruskouluissa. Kieli, koulutus ja yhteiskunta, 13(2). Saatavilla: https://www.kieliverkosto.fi/fi/journals/kieli-koulutus-ja-yhteiskunta-maaliskuu-2022/airu-hoi-aidinkielenomaisen-ruotsin-opetus-suomenkielisissa-peruskouluissa

Heittola, S. & Henricson, S. 2022. Äidinkielenomaisen ruotsin oppimäärän kartoitustutkimus. Teoksessa H. Katajamäki, M. Enell-Nilsson, H. Kauppinen-Räisänen & H. Limatius (toim.) Responsible Communication. VAKKI Publications 14. 11–26. https://vakki.net/wp-content/uploads/2022/12/RC2022A1.pdf

Hildén, R. & Takala, S. 2007. Relating Descriptors of the Finnish School Scale to the CEF Overall Scales for Communicative Activities. In Koskensalo, A., Smeds, J.,Kaikkonen, P. & Kohonen, V. (eds.) Foreign languages and multicultural perspectives in the European context; Fremdsprachen und multikulturelle Perspektiven im europäischen Kontext. DICHTUNG, WAHRHEIT UND SPRACHE. LIT-Verlag, 291 - 300.

Opetushallitus, 2023. Kielivalinnat. https://vipunen.fi/fi-fi/_layouts/15/xlviewer.aspx?id=/fi-fi/Raportit/Perusopetus%20-%20ainevalinnat%20-%20kielet.xlsb

Opetushallitus, 2014. Perusoletuksen opetussuunnitelman perusteet 2014. Määräykset ja ohjeet 2014: 96.

Opetushallitus, 2020. Perusopetuksen päättöarvioinnin kriteerit. Opetushallituksen määräys OPH-5042-2020. https://www.oph.fi/sites/default/files/documents/Perusopetuksen%20p%C3%A4%C3%A4tt%C3%B6arvioinnin%20kriteerit%2031.12.2020_1.pdf

Pastore, S. & Andrade, H. L. 2019. Teacher assessment literacy: A three-dimensional model. Teaching and Teacher Education, 84, 128-138. https://doi.org/10.1016/j.tate.2019.05.003

Scriven, M. 1967. The Methodology of Evaluation. AERA Monograph Series on Curriculum Evaluation 1: 39–83.