Opi suomea juttelemalla VR-hahmon kanssa! – VR-simulaatiopeli maahanmuuttajataustaisten sairaanhoitajaopiskelijoiden kieli- ja ammattiosaamisen tukena

KulttuuriOsaaja-hankkeessa kehitetyssä hoitotyöhön suunnatussa VR-simulaatiopelissä opiskelija pääsee puhumaan suomea sekä potilaan että hoitohenkilökunnan kanssa. Lapin ja Oulun ammattikorkeakoulujen kansainväliset tutkinto-opiskelijat ovat ottaneet pelin innostuneesti vastaan. Kielenoppimista tukevat VR-simulaatiot voivat tulevaisuudessa tukea erityisesti aikuisten kielenoppimisprosessia.

Julkaistu: 30. marraskuuta 2022 | Kirjoittaneet: Riikka Partanen, Joel Koutonen, Jere Jalonen, Jonathan Hurd ja Juha-Matti Taikina-aho

Kansainvälisten opiskelijoiden työelämään integroitumisen tukeminen KulttuuriOsaaja-hankkeessa

Partanen_ym_logo Suomalainen hyvinvointiyhteiskunta tarvitsee työperäistä maahanmuuttoa. Kansainvälisten osaajien haasteena on oppia suomen kieli, joka on avain täysivaltaiseen toimijuuteen suomalaisessa yhteiskunnassa. Suomalaiset ikääntyvät vauhdilla, ja erityinen haaste on saada osaajia hoitoalalle. Lapin Ammattikorkeakoulun, Oulun Ammattikorkeakoulun ja Oulun yliopiston KulttuuriOsaaja-yhteishankkeen (2021–2023) tarkoitus on tukea maahanmuuttajataustaisia sairaanhoitajaopiskelijoita suomalaiseen työelämään integroitumisessa. Euroopan sosiaalirahaston (ESR) rahoittamassa hankkeessa ollaan kehittämässä toimintamallia, digitaalista verkostoa ja VR-simulaatiopeliä. VR-simulaatiossa maahanmuuttajataustainen sairaanhoitajaopiskelija voi harjoitella keuhkokuumeen hoitoa ja potilaan kotiuttamista sairaanhoitajaopiskelijan roolissa autenttisessa sairaalaympäristössä. Tässä tekstissä käsitellään puheentunnistusteknologiaan perustuvaa VR-simulaatiopeliä vuorovaikutusosaamisen ja kielenoppimisen näkökulmasta.

Puheteknologia vuorovaikutuksen mahdollistajana

VR-simulaatiopelissä on käytetty Googlen Cloud API -rajapintaa eli automaattista puheentunnistusohjelmaa. Automaattinen puheentunnistus tarkoittaa puhesignaalin koneellista muuntamista sitä vastaavaksi tekstiksi (Ylinen & Kurimo 2017, 64). Google valittiin puheentunnistusteknologiaksi, sillä se on monipuolisin ja kehittynein varsinkin suomen kielen tunnistamisessa. Kyse on innovaatiosta, sillä tiedossamme ei ole yhtään aiempaa puheeseen perustuvaa suomalaista simulaatiopeliä.

Pelaaja etenee pelissä puhekomennoilla. Käytännössä simulaation taustalla oleva koodi tarkistaa, onko pelaaja käyttänyt puheaktissaan peliin koodattuja avainsanoja ja mikäli on, hän pääsee etenemään simulaatiossa. Tarkemmin ilmaistuna pelissä puhuttu repliikki lähetetään Google Speech -liitännäisellä Googlelle, joka prosessoi sen ja lähettää äänitiedostosta tunnistetut sanat takaisin tekstinä. Pelin taustalla oleva teknologia toimii siis niin, että se tarkistaa puhutusta repliikistä vain avainsanat. Esimerkiksi lauseen "Annan sinulle nyt särkylääkkeen" avainsana on "särkylääke". Peliä on rakennettu vaiheittain hankkeen aikana, ja sen eri versioita on testattu kansainvälisten sairaanhoitajaopiskelijoiden ryhmillä, joiden kielitaitotaso on vaihdellut alkeistasolta (A2) perustasolle (B2). Testauksien aikana on kerätty avainsanalistaa väärin menneistä sanoista ja eri tavoista sanoa lause, jotta ne voidaan myöhemmin lisätä peliin. Lisäksi peliin on vaihdeltu ja lisätty avainsanoja.

Partanen_ym_kuva1

Kuva 1. VR-potilas Markus Näppärä potilashuoneessa. (Kuva: Joel Koutonen)

KulttuuriOsaaja-VR-simulaation erikoisuus, audiovisuaalinen vuorovaikutus, synnyttää pelaajassa parhaimmillaan tunnesiteen VR-potilaaseen ja hoitotilanteeseen. Aidonoloisesta vuorovaikutuksesta syntyvä kokemus immersiosta eli mukaansatempaavuudesta vaikuttaa siihen, miltä peli tuntuu (Kuorikoski 2018, 282) ja siten myös siihen, kuinka paljon pelaaja kokee tarvetta onnistua suomenkielisessä vuorovaikutuksessa.

Pelitilanteena keskustelu potilaan kanssa

KulttuuriOsaajan simulaatiopeli vaatii pelaajalta VR-lasit ja viestintärohkeutta suomen kielellä. Pelaaja aloittaa pelin sairaalan aulasta, jossa hän valitsee kahdesta hoitotilanteesta eli ovesta: kotiuttaminen tai keuhkokuume. Valitessaan hoitotilanteeksi keuhkokuumeen pelaaja tapaa 57-vuotiaan Maijan, joka on tullut sairaalaan keuhkokuumeen takia. Hoitotilanteen alussa hoitaja opastaa pelaajan alkuun Maijan lääkitsemisessä. Monista muista VR-peleistä poiketen pelaaja kuulee hahmojen äänen eikä näe esimerkiksi tekstilaatikkoa. Hänen on myös tarkoitus itse puhua potilaalle koko pelin ajan ja reagoida pelihahmon kysymyksiin ja nonverbaliikkaan. Esimerkiksi sen sijaan, että pelaaja vain tarjoaisi Maijalle sopivat lääkkeet VR-käsillä, pelaajan tehtävänä on jutella potilaan kanssa ja kertoa hänelle, mitä tilanteessa tapahtuu ja mitä hän tulee tekemään, eli harjoitella ammatillista viestintää suomen kielellä. Peli muuttuu jännittäväksi, kun Maijalle tuleekin pelin kuluessa yllättäen hengenahdistusta. Pelaajan tulee yrittää pelastaa Maija neuvottelemalla potilaan hoidosta toisen hoitajan ja lääkärin kanssa, lääkitsemällä potilasta ja rauhoittelemalla tätä.

Toisena pelivaihtoehtona on hoitaa polvileikkauksesta toipuvaa 53-vuotiasta Markusta, jolloin pelaaja pääsee läpikäymään kotiuttamiskriteerejä suullisesti Markuksen kanssa. Markukselta tulee kysyä esimerkiksi, onko hän onnistunut virtsaamaan, ja häntä tulee opastaa kävelysauvojen käytössä. Pelaajan tullessa potilashuoneeseen Markus istuu sängyllä ja alkaa heti jutella pelaajalle. Kaikki pelihahmot on luotu Epic Gamesin MetaHuman Creator -sovelluksella, ja ne näyttävät pelottavan aidoilta. Pelihahmo esimerkiksi katsoo pelaajaa silmiin, ja hänellä on paljon eleitä ja ilmeitä, jotka on tallennettu motion capture -liikkeentunnistuksella aidosta ihmisestä. Hahmojen aitous lisää oletettavasti pelaajan halua onnistua hoitotilanteessa. Mikäli pelaaja ääntää huonosti tai tuottaa sekavaa kieltä, VR-hahmot pyytävät pelaajaa toistamaan tai muotoilemaan sanomansa uudelleen. Hahmoja voi myös pyytää toistamaan, mikäli pelaaja ei ymmärrä, mitä hahmo hänelle sanoo. Hahmojen äänet on nauhoitettu Lapin yliopiston äänistudiolla.

VR-simulaatiopelin pilotointikokemukset

Simulaation kehittämisen aikana on järjestetty useita testitilanteita, joiden avulla hanketiimi on päässyt hiomaan pelin elementtejä ja toimintaperiaatteita, jotta simulaatio vastaisi pelaajan odotuksia aidosta vuorovaikutuksesta hoitotilanteessa. Peliä ovat olleet testaamassa muun muassa Lapin ammattikorkeakoulun Nursing-koulutusohjelman opiskelijat, Oulun ammattikorkeakoulun kansainväliset sairaanhoitajaopiskelijat sekä satunnaiset Sairaanhoitajapäivien, HTTS-konferenssin ja hyvinvointiteknologiamessujen kävijät. Pelin testaaminen on ollut vapaaehtoista, ja testaajat ovat yleensä kommentoineet peliä spontaanisti testitilanteen jälkeen. Joiltakin opiskelijaryhmiltä on myös pyydetty kirjallista palautetta sähköisellä kyselylomakkeella. Hankkeessa ei ole virallisesti tarkoitus testata kansainvälisten opiskelijoiden simulaatioharjoitusten myötä mahdollisesti parantunutta suomen kielen osaamista tai ammattifraasien osaamista pelin ulkopuolisilla mittareilla. Hanketiimin havaintojen mukaan peliä toistuvasti testanneiden opiskelijoiden kielitaito on kuitenkin toistojen myötä parantunut ja eteneminen pelissä helpottunut. Opiskelijat ovat lisäksi kertoneet saaneensa pelistä itseluottamusta opintoihin kuuluvia suomenkielisiä työharjoitteluja ajatellen. Opiskelijat ovat ottaneet simulaatiot innostuneina vastaan ja kokeneet, että hyötyvät niistä.

Pelin testaaminen sekä suomalaisilla että ulkomaalaisilla opiskelijoilla on ollut hanketiimin näkökulmasta antoisaa. Suomalaiset terveydenhuollon ammattilaistestaajat ovat keskittyneet palautteessaan ammattitermistöön, aksentteihin, slangiin ja pitkiin lauseisiin, kun taas kansainväliset osaajat ovat saattaneet jäädä jumiin yksittäisiin arkipäiväisiin sanoihin. On selvää, että mitä enemmän pelaajalla on hoitoalan osaamista, sitä enemmän hän voi keskittyä suomenkieliseen vuorovaikutukseen ja nauttia pelistä, ja se näkyy pelisuorituksessa. Suomea hyvin osaavat pelaajat ovat huomanneet pelihahmojen puhuvan Rovaniemen murretta. Murteeseen on päädytty, koska hyvin harvat potilaat tosielämässä puhuvat selkokieltä. Osa opiskelijoista on todennut hahmojen puhenopeuden olevan liian nopea, vaikka se on vastannut normaalia puhenopeutta. Pelin tarkoituksena on simuloida aitoja hoitoalan vuorovaikutustilanteita ja tukea maahanmuuttajataustaisten opiskelijoiden onnistumista niissä, joten ratkaisut ovat perusteltuja. Osa on kaivannut pelin taustalle myös autenttista sairaalan äänimaisemaa, mikä lisäisi entisestään haastetta pelaajan ja pelihahmon väliseen keskusteluvuorovaikutukseen.

Partanen_ym_kuva2

Kuva 2. Joel Koutonen kokeilee VR-simulaatiota. (Kuva: Riikka Partanen)

VR-asiantuntijat ovat saaneet testipäivistä käytännön kokemusta informaation esittämisestä, puhumisen käytännön toimivuudesta sekä eritoten pelaajan ja potilaan vuorovaikutuksesta. Muillekin kuin kielenopettajille on käynyt selväksi, että suomen kielessä on lukematon määrä mahdollisuuksia kysyä samaa asiaa, kuten sitä, tarvitseeko potilas apua kotona: ”Asutko yksin?” ”Onko sulla vaimoa?” ”Onko kotona apua?”. Testipäivien jälkeen asiantuntijat ovat palanneet takaisin sorvin äärelle, koodanneet kaikki hyvät ideat paikalleen ja tulleet muutaman viikon päästä uudelleen testaamaan kansainvälisten opiskelijoiden kanssa, miten tehdyt muutokset vaikuttavat pelikokemukseen käytännössä. Pelin eliniän ja toimivuuden kannalta pilottien merkitys on suuri, sillä projektista riippumatta on hyödyllistä, että käyttäjät saavat olla edes osittain mukana vaikuttamassa lopputulokseen.

VR-simulaatiopelin edut ja haasteet kielenoppimisen näkökulmasta

VR-simulaatio on kielenoppimisympäristönä turvallinen, ja sen avulla potilasviestinnän harjoitteleminen on aitoja vuorovaikutustilanteita stressittömämpää. Vuorovaikutustilanteen rauhallisuus antaa kielenoppijalle mahdollisuuden miettiä omaa fraasiaan ja esittää sen arastelematta, eivätkä mahdollinen aksentti ja sujumaton puhe muodostu esteeksi puhua vierasta kieltä ja osallistua kommunikaatiotilanteeseen (ks. myös Ylinen & Kurimo 2017, 58). Erityisesti mahdollisuus harjoitella ääntämistä on merkityksellinen, sillä ääntämisen pienetkin poikkeamat vaikuttavat kuulijan tulkintaan puhujan kielitaidosta (Martin 2008). Ulkomaalainen korostus saattaa myös vaikuttaa käsitykseen henkilön ammattipätevyydestä (Boyd & Bredänge 2004, 454–455). Hoitoalalla on myös potilasturvallisuuden kannalta tärkeää, että ammattitermit osataan ilmaista selkeästi. VR-simulaatiopotilaita voidaan luonnehtia ihanteellisiksi suomalaisiksi keskustelukumppaneiksi, sillä he ovat hyväksyviä, eivät välitä kielivirheistä eivätkä vaihda kieltä englantiin. Lisäksi he ovat valmiita toistamaan samaa viestintätilannetta niin kauan, että toisen osapuolen viestiminen automatisoituu ja muuttuu lopulta sujuvaksi. Konekumppanien eduiksi on jo aiemmin huomattu harjoitteiden toistaminen ja palautteen antaminen väsymättä samalla neutraalilla tavalla (ks. esim. Rantanen ym. 2008, 35). VR-simulaation vuorovaikutustilanne muistuttaa enemmän tosielämän viestintätilannetta kuin luokan tai etäopetuksen oppimistilanne, jolloin oppijan viestintätarpeet ovat siinä autenttisempia ja voimakkaampia kuin perinteisessä kielenopetustilanteessa (Partanen, Koutonen & Taikina-aho 2022, 232). Elämyksellisten simulaatioiden onkin havaittu parantavan oppijan kielenkäytön sujuvuutta (Lehtonen ym. 2015, 31–32).

Pelaamisella on tutkimuksen perusteella (ks. esim. Vandercruyesse, Vandewaetere & Clarebout 2012) lisäarvoa kielenoppimisessa. Peleihin kuuluvilla elementeillä, kuten kilpailu, ongelmanratkaisu, tarina ja hauskuus, on odotettuja hyötyjä kielen oppimisessa, esimerkiksi mielihyvän, motivaation ja jännityksen lisääntyminen sekä tiedon saaminen omasta edistymisestä. On myös todennäköistä, että pelissä saatua korjaavaa palautetta voidaan hyödyntää aidossa vuorovaikutustilanteessa. Pelitilanteen jälkeen käyty keskustelu esimerkiksi suomen opettajan kanssa voi olla oppijan näkökulmasta arvokas mahdollisuus oppia lisää kielestä, koska peli on herättänyt tarpeen tietää ja ymmärtää lisää.

Koska Googlen puheentunnistusohjelma toimii verkossa, verkon nopeus vaikuttaa siihen, kuinka nopeasti pelihahmo reagoi pelaajan tuottamaan puheeseen. VR-simulaation ensimmäinen testiversio oli altis tallentamaan taustameteliä puheeksi, mikä pidensi puheentunnistusprosessia ja aiheutti käyttäjälle odottelua puheaktiensa välillä, mikä saattoi välillä turhauttaa pelaajaa ja vähentää peli-immersiota. Eräs tekninen haaste on myös VR-lasien yhteensopivuus hyperrealististen MetaHumanien kanssa. VR-laseilla on huono tapa nakertaa kahden linssin läpi nähtävän maailman laatua ja laadun heikkeneminen taas niin ikään syö peli-immersiota. Kaikille pelaajille VR ei myöskään sovi, sillä se voi aiheuttaa pahoinvointia eikä se välttämättä sovi yhteen silmälasien kanssa.

VR-simulaatiopelin saatavuus ja visioita VR-simulaatioiden mahdollisuuksista tulevaisuudessa

KulttuuriOsaajan VR-simulaatiopelistä on saatu rohkaisevia kokemuksia kielenoppimisen tukena. Kun KulttuuriOsaaja-simulaatiopeli on valmis vuonna 2023, kuka tahansa VR-lasit omistava yksityishenkilö tai oppilaitos voi ladata tässä tekstissä kuvaillun pelin zip-tiedostona KulttuuriOsaaja-hankkeen verkkosivuilta. Jotta simulaation eteen tehty kehitystyö ei valuisi hukkaan, se on tärkeä saada valmistuttuaan integroitua sairaanhoitajaopintoihin sekä opetussuunnitelmatasolle että osaksi lähiopetustilanteita. On myös toiveissa, että kansainväliset hoitotyön opiskelijat voisivat hoitaa simulaatiopelin potilaita tulevaisuudessa omaehtoisesti kampuksella tai kotona. Toivomme, että puheentunnistusteknologiaan perustuva simulaatiopeli tarjoaa inspiraatiota, rohkaisua ja uutta suuntaa innovatiivisille kielenopettajille ja koodaajille. Olisi hienoa, jos puheteknologia yleistyisi kieltenopetuksessa, sillä VR-kielenoppimisympäristöissä on todennäköisesti mahdollista vähentää epävarmuutta omasta kielitaidosta ja madaltaa kynnystä käyttää vierasta kieltä arkielämässä.

Partanen_ym_kuva3

Kuva 3. Pelaamiseen tarvitaan tietokone ja VR-lasit. (Kuva: Joel Koutonen)

VR-teknologia voi olla uuden kielen oppimisessa hyödyksi erityisesti aikuisille kielenoppijoille, joille ei ole arjessa tarjolla monia spontaaneja vuorovaikutuksen mahdollisuuksia. Näemmekin VR-kielenoppimisympäristöt nyt ja tulevaisuudessa mahdollisuutena sekä kulttuurienväliseen että ammatilliseen oppimiseen. Esimerkiksi hoiva-alalla erilaisia VR-simulaatiotilanteita voitaisiin rakentaa lähes kaikille sairaanhoitajatutkintoon kuuluville opintojaksoille sekä ammatillista viestintää että ammattiosaamista tukemaan. Ne palvelevat oppijaa, joka on motivoitunut harjoittelemaan ammatillisia tai kielellisiä opetussisältöjä itsenäisesti ajasta ja paikasta riippumatta. VR-simulaatiopelit ovat myös merkittävä uusi menetelmä minkä tahansa kielen alkeistasolla. Esimerkiksi vielä kotimaassaan oleskelulupapäätöstä odottava kansainvälinen osaaja voi saada VR-simulaation avulla aidonoloista kontaktia suomea äidinkielenään puhuvaan henkilöön. Simulaatiopelien pelaaminen mahdollistaa uuteen kotimaahan integroitumisprosessin käynnistämisen jo lähtömaassa, sillä niiden avulla pääsee harjoittelemaan vierasta kieltä vuorovaikutteisesti ja tehokkaasti. Kohdemaan kielen osaaminen edesauttaa kansainvälisten osaajien yhteiskuntaan integroitumista ja siten myös Suomeen pysyvää asettautumista. VR-kielenoppimisympäristö voi olla hyödyllinen myös äidinkielisille: esimerkiksi suomalaiset voisivat opetella VR-simulaatioiden avulla selkosuomenkielistä viestintää ennen kuin maahanmuuttajataustainen työntekijä astuu osaksi heidän työyhteisöään. Tärkeää on myös ymmärtää, että kieltenopettajien ei tarvitse pelätä työttömyyttä VR-kielisimulaatioiden takia, sillä VR-kielenoppimispedagogiikka ei toimi itsestään, vaan opettajia tarvitaan kehittämään sitä (Godwyn-Jones 2013), jotta se tarjoaa kielenoppijalle aidosti mielekkäitä oppimisen mahdollisuuksia. Kieli lisää osallisuutta ja toimijuutta – puheteknologiaan perustuvissa VR-simulaatioissa on kielenopetuksen tulevaisuus!

Riikka Partanen on suomen kielen ja viestinnän lehtori Lapin AMKissa.

Joel Koutonen on asiantuntija FrostBit-ohjelmistolaboratoriossa Lapin AMKissa.

Jere Jalonen on asiantuntija FrostBit-ohjelmistolaboratoriossa Lapin AMKissa.

Jonathan Hurd on asiantuntija FrostBit-ohjelmistolaboratoriossa Lapin AMKissa.

Juha-Matti Taikina-aho on asiantuntija FrostBit-ohjelmistolaboratoriossa Lapin AMKissa.

Lähteet

Boyd, S. & Bredänge, G. (2004). Utländska lärare i Sverige – attityder till brytning. Teoksessa K. Hyltenstam -& I. Lindberg (toim.) Svenska som andraspråk – I forskning, undervisning och samhälle. Lund: Studentlitteratur, 437–457.

Godwyn-Jones, R. (2013). Integrating intercultural competence into language learning through technology. Language Learning & Technology, 17(2), 1–11.

Kuorikoski, J. (2018). Pelitaiteen manifesti. Helsinki: Gaudeamus.

Lehtonen, T., Lakkala, M., Eloranta, J. & Rasila, M. (2015). Pedagoginen perusta kielenoppimisessa. Teoksessa Y. Lappalainen, M. Poikolainen & H. Trapp (toim.) Tila haltuun! Suositukset virtuaalisen suomen opiskelun toteuttamiseen. Turun yliopiston Brahea-keskuksen julkaisuja, Nro 6. Turku: Turun yliopiston Brahea-keskus, 20–37.

Martin, M. (2008). Puhu Suomea! Oppijan kielestä ja kielipolitiikasta. https://www.kielikello.fi/-/puhu- suomea-oppijan-kielesta-ja-kielipolitiikasta

Partanen, R., Koutonen, J. & Taikina-aho, J-M. (2022). VR-simulaatiopeli suomalaiseen työelämään tähtäävien aikuisten kielenoppijoiden tukena. Vol 42 Nro 3 (2022): Aikuiskasvatus 3/2022, 230–236.

Vandercruysse, S., Vandewaetere, M. & Clarebout, G. (2012). Game-Based Learning: A Review on the Effectiveness of Educational Games. Teoksessa M. M. Cruz-Cunha (toim.) Handbook of Research on Serious Games as Educational, Business, and Research Tools. Hershey, PA: IGI Global, 628–647. DOI:10.4018/978- 1-4666-0149-9.ch032

Ylinen, S. & Kurimo, M. (2017). Kielenoppiminen vauhtiin puheteknologian avulla. Teoksessa H. Savolainen, R. Vilkko & L. Vähäkylä (toim.) Oppimisen tulevaisuus. Helsinki: Gaudeamus, 57–69.