Prestationspoäng från en MOOC? Inte så enkelt.

Enligt vissa skribenter skulle den nya trenden med MOOCs kunna medföra — på gott och ont — att fattiga universitet externaliserar delar av sin undervisning till MOOC-undervisning för att komma billigare undan.

En tes som ofta framförts har gjort gällande att man genom att avlägga tillräckligt med MOOC-kurser skulle kunna sammanställa en examen och hämta ut den från något billigt universitet. Tanken bygger på konstaterandet att de flesta MOOCs produceras av synnerligen vedertagna universitet, varigenom andra (mindre vedertagna) universitet gladeligen skulle tillgodoräkna prestationer som avlagts där.

Min erfarenhet är att detta inte är så enkelt.

Courseras användaravtal förbjuder uttryckligen studenterna att använda sina prestationer som del i någon annan utbildning. Det anges visserligen att man kan få skriftligt tillstånd till detta, men jag misstänker att sådant tillstånd inte ges lättvindigt.

Nämligen i den andra vågskålen ligger de inkomster som Coursera får via s.k. Verified Certificates. Detta är ett alternativ för dem som vill få ett mera trovärdigt intyg på att de avlagt kursen.

Verified Certificates kostar $30 till $100 per kurs. Intyget förutsätter att kursen avlagts med beaktande av vissa tekniska tillägg (bl.a. identitetskontroll med hjälp av video och biometrisk profil från sättet att skriva).


Online Course and Certifications
[...]
You may not take any Online Course offered by Coursera or use any Statement of Accomplishment as part of any tuition-based or for-credit certification or program for any college, university, or other academic institution without the express written permission from Coursera.

[Källa]
Intyg från kursen

Intyg från kursen [Klicka på bilden för att se större format]

Själv har jag nöjt mig med standardalternativet för intyg, ”Statement of Accomplishment”. Det är en prydlig .pdf-fil med logo, kort beskrivning av kursen, mitt namn och lärarens namnteckning. Den kan jag printa, rama in och hänga på väggen närhelst jag vill visa min förträfflighet 😉

Men detta intyg är i sig inte värt mycket eftersom det är så lätt att förfalska och eftersom den prestation jag avlagt inte förutsätter identitetskontroll.

Därtill konstateras i den finstilta texten att detta intyg inte ger mig studierätt vid Hong Kong University of Science and Technology och att det inte heller utgör ett betyg för studier avlagda där. Som en sista släng i den finstilta ramsan av förbehåll konstateras att intyget inte heller bekräftar min identitet!

Bedömning av hemuppgifter i en MOOC

För avläggande av den MOOC jag deltar i krävs av mig efter varje delprestation eller hemuppgift därtill bedömning av tre medstuderandes prestationer.

Idén med ”peer grading” eller kollegial granskning (jfr. ”peer review”) är att studenterna poängsätter varandras prestationer, vanligtvis slumpmässigt och anonymt. Då deltagarantalet rör sig i tiotusental är detta det enda sättet att effektivt kunna granska och betygsätta tentamina som är i annan form än mekaniska flervalsuppgifter.

Utöver att ”peer grading” är effektivt anses det även vara tillförlitligt. Det finns adb-assisterade processer att tillgå, se http://www.pantherlearning.com, inklusive ett urval forskningsreferenser.

Enligt systemets försvarare fungerar ”peer grading” bäst ifall de deltagande studenterna är på en tillräcklig kunskapsnivå och är motiverade och därtill instruerade för även denna del av kursen. I bästa fall kan ”peer grading” stödja inlärningen och den pedagogiska processen utöver att det lättar på lärarens arbetsbörda. Däremot i mer anonyma sammanhang (typ Coursera) finns onekligen risken att studenterna är lata, okunniga eller indifferenta inför detta uppdrag och kan då poängsätta precis hur som helst utan ansvar. (Se utmärkt problematisering av konceptet i Debbie Morrisons blog Why and When Peer Grading is Effective for Open and Online Learning.)

Nästa steg efter att ha lämnat in mitt tentamenssvar var att betygsätta minst tre av mina medstuderande. (Klicka på bilden för att se den i större format.)

Min erfarenhet är att processen långt ifrån är problemfri. I upplägget för den kurs jag deltar i finns det enligt vad jag förstår ett allvarligt problem beträffande bedömningens utgångspunkter.

Problemet är att bedömningen görs i ett skede när de deltagande ännu inte har delgetts deluppgifternas rätta svar. Jag har alltså inte fått tillfälle att relatera mina egna prestationer i förhållande till det korrekta svaret. Detta är för mig som studerande kanske inte så allvarligt, men när jag iklär mig rollen som granskare blir situationen ohållbar. Det allvarliga är att jag alltså förväntas avgöra huruvida mina medstuderande har svarat rätt eller fel, trots att jag själv ännu svävar i okunskap därom.

I denna situation riskerar jag att bedöma andras prestationer utgående från mina potentiellt felaktiga uppfattningar. — Alltså ifall jag i mitt tentamenssvar skrev fel, då kommer min bedömning av andras tentamenssvar även att vara fel.

Enligt en horribel tankelek kan det vara möjligt att det här ”bakvända” tillvägagångssättet är en del av ett sofistikerat pedagogiskt experiment där man vill studera hur stor felmarginal man kan uppnå med bristfällig respons. Men det vore inte särskilt önskvärt att laborera med tiotusentals deltagares prestationer på detta sätt.

En fördel med ”peer grading” är att arbetet med bedömningnen helt klart har bidragit till att fördjupa och precisera min egen förståelse av de frågeställningar som ingick i hemuppgifterna.

 

Tentamen i min MOOC — Dags för hemuppgifter

I den MOOC som jag följer några veckor under våren har det blivit dags att avlägga hemuppgifterna.

Kursen är en typisk grundkurs; den ger en översikt över ämnet — i det här fallet vetenskapens och teknologins historia i Kina — där begrepp och centrala aktörer presenteras. Kursen är avsedd som en första del av tre, och har alltså inte hunnit gå på djupet med vare sig det vetenskapsfilosofiska materialet eller dess regionala tillämpning.

Skärmbild från verktyget för inlämnandet av hemuppgifterna. (Klicka på bilden för att se den i större format.)

Hemuppgifterna i denna kurs har varit av kontrollerande typ; de är relevanta och tankeväckande men de är inte utmanande så att de skulle kräva djupare syntes av studiematerialet. Hemuppgifternas omfång har varierat mellan 250 och 500 ord vardera. Vardera deluppgiften inbegriper därtill att att man poängsätter tre medstuderandes deluppgifter (mer om detta i ett senare blogginlägg).

Första hemuppgiften handlade om en formalisering av den teknologiska utvecklingen, där uppgiften var att genom ett alternativt exempel visa att man hade förstått begreppet ”technological path”, och det nära relaterade begreppt ”lock-in effect”. Här gällde det att för det första identifiera en teknologi eller kunskap, därefter beskriva grundtanken med teknologiska utvecklingsvägar samt därtill förklara det i många fall negativa fenomen som uppstår när teknologin inte längre förmår utveckla sig själv.

1) Offer an example of a technology (or of knowledge more broadly speaking) that illustrates the concept of "technological path". Explain how your example illustrates the idea of the "technological path" as well as the closely related idea of the "lock-in effect".
Andra hemuppgiften var sociologiskt orienterad och berörde beskrivning av innovationers utveckling och betydelse inom en ekonomi. Uppgiften inkluderade evaluering av den lineära innovationsmodellen och dess tillämpningar, och därtill att hitta ett alternativ till detta. Evalueringen av modellen hör visserligen till ämnets grundstudier, men evalueringen av alternativen torde vara en utmaning för många.

2) Devise an alternative to the "linear model of innovation" and describe / explain how and why your proposed alternative is better or worse (conceptually and in terms of operationalization) than the linear model of innovation.
Den tredje hemuppgiften var mera nationalekonomiskt orienterad, där uppgiften var att presentera ett alternativ till den innovationssystematiska infallsvinkeln. Utmaningen här är att identifiera och problematisera systematiseringen av innovationers betydelse inom en ekonomi.

3) Aside from the innovations systems approach, can you think of other methods for analyzing an economy’s innovation capacity and output (from a macro perspective)? If the answer is yes, explain the advantages / disadvantages of the alternative in comparison with the innovation systems approach.

Vid inlämnandet av hemuppgifterna (se skärmbilden ovan) begärdes att man klickade X i rutan för att ge sitt godkännande av kursens etiska regel:

  • In accordance with the Honor Code, I certify that my answers here are my own work, and that I have appropriately acknowledged all external sources (if any) that were used in this work.

Skyddet mot fusk ser ut att ha ganska låg prioritet och baserar sig alltså endast på en hedersbetygelse. Tydligen räcker detta som skydd mot fusk. Inom kursens diskussionsforum har det framförts några kommentarer som utpekar vissa deltagares tentamensssvar som suspekta på grund av att de har ett överdrivet och okritiskt bruk av citat av källor. Men desto allvarligare anklagelser har inte förekommit.
 

Studera på MOOC — hur går det till?

Nu har undervisningen i min första MOOC-kurs börjat, nämligen ”Science, Technology and Society in China, I: Basic concepts”.

Kursens funktionella beståndsdelar utgörs av följande komponenter:

  • videoinspelade föreläsningar
  • diskussionsforum
  • tentamensuppgifter
  • wiki-område för eventuell bearbetning av gemensamt material.

Typisk föreläsningssituation. (Klicka på bilden för att se den i större format.) Notera hastighetsindikatorn nere till vänster. Föreläsningsvideons hastighet kan justeras uppåt eller neråt. Allt som avviker från "1x" resulterar tyvärr i mycket sämre bild- och ljudkvalitet.

Videoföreläsningarna består av 2-3 timmar en dag per vecka. Respektive veckas föreläsning är uppdelad på ungefär 10 stycken avsnitt, vardera 15-20 minuter. Det är bra att föreläsningen består av kortare avsnitt, så att man bekvämt kan hålla paus emellan eller att man kan titta på vissa avsnitt på nytt. Materialet erbjuds både som streamade videofiler och för download (.mp4). Därtill erbjuds stordiorna som .pdf filer. Och allt det som sägs i föreläsningarna finns tillgängligt i .txt eller .srt (subtitles) filer.

Anmärkningsvärt är att videoföreläsningarna pedagogiskt sett är av ganska traditionell typ, där föreläsaren hela tiden är i bild och de projecerade bilderna syns bakom honom. Denna form av inspelad föreläsning är vad man i pedagogiska termer kallar för simulering, där man strävar efter att återskapa den ursprungliga föreläsningssituationen.

I en såhär modern kontext hade jag förväntat mig att en föreläsning som uttryckligen är gjord för distansundervisning skulle ha använt ett mera raffinerat pedagogiskt grepp. Här tänker jag på sådan teknik som man inom pedagogiken kallar för åskådliggörande video, alltså sådant där föreläsarens fysiska person har mindre betydelse och där man istället utnyttjar tekniska lösningar för att lyfta fram det visualiserande materialet (bilder, texter, länkar) för att på så sätt möjliggöra större interaktivitet.

Efter varje avsnitt av videoföreläsningarna ingår en ”Quiz”, dvs en kort och intresseväckande kontroll. Dessa består av korta flervalsfrågor som håller koll på att man har förstått det viktigaste i avsnittet. Granskningen av kontrollfrågorna är automatiserad. Dessa flervalsfrågor är dock inte triviala, utan med hjälp av dem tvingas man skärpa sig och fundera på både detaljerna och de större sammanhangen. En bra sak är därtill de förklaringar som ges som stöd för det korrekta alternativet. Dessa förtydliganden kan det löna sig att läsa även om man klarade kontrollfrågan redan på första försöket.

Innehållsmässigt ger jag läraren väl godkänt för de hittills avlagda två föreläsningsdagarna. Tekniskt har föreläsningarna däremot inte erbjudit särskilt raffinerade lösningar.

 

Min första MOOC

Min första kurs inom MOOC-världen heter ”Science, Technology and Society in China, I: Basic concepts”.

Kursen ges av prof. Naubahar Sharif vid Hong Kong University of Science and Technology och arrangeras inom ramen för Coursera.


Klicka på vidstående bild för en animation med en roterande jordglob där Coursera-universiteten är markerade.

Coursera är ett nytt företag som i samarbete med ett 60-tal universitet av högsta rang erbjuder webbaserade kurser, så kallade MOOCs. De flesta av dessa universitet, 38 st, är amerikanska. Från den amerikanska kontinenten kommer därtill två universitet från Kanada och Mexico vardera. Från Europa kommer 12 st, från Asien 5 st, samt två från Israel och ett från Australien. Vanligen 1-2 universitet per land.

Av de nordiska länderna är endast Danmark representerat, nämligen med Köpenhamns universitet samt Danmarks tekniska universitet.

Kursutbudet är omfattande med snart över 100 kurser, och antalet studerande sägs vara 2,7 miljoner. De flesta kurserna ges på engelska, men även på spanska (11 st kurser), franska (9 st), kinesiska (5 st) och på italienska (1 st). [källa].

Sett ur en humanists perspektiv är utbudet överraskande mångsidigt. Största kategorin kurser hänför sig till datologi (Computer Science) med allt från strikt matematisk teori till praktiskt orienterade kurser i samarbete med programjättar som Google Inc. Många kurser hör hemma i flera kategorier, t.ex. kursen Constitutional Struggles in the Muslim World som ges av Köpenhamns universitet och kan sorteras under juridik eller statsvetenskap. Ett annat exempel är den både teknologiskt och konstnärligt orienderade kursen Introduction to Programming for Musicians and Digital Artists som ges av California Institute of the Arts.

Bland det humanistiska utbudet lägger jag märke till en balansgång mellan kategorierna ”Arts” och ”Humanities”. Bägge kategorierna ter sig öppna åt många håll. Flera kurser inom dessa kategorier hänför sig till historia och samhälle, så som Stanford Universitys kurs Democratic Development, eller Princeton Universitys A History of the World since 1300. Även psykologi finns företrätt, t.ex. med kursen A Beginner’s Guide to Irrational Behavior från Duke University, eller kursen Terrorism and Counterterrorism: comparing theory and practice från holländska Universiteit Leiden.

Inriktning på språk och litteratur hittar man bl.a. i University of Pennsylvanias kurs Modern & Contemporary American Poetry, eller Köpenhamns universitets kurs Scandinavian Film and Television.

MOOC — va e de?

Runtom i universitetsvärlden begapar man sig för närvarande över fenomenet MOOC – stora, öppna, nätverksbaserade kurser.

MOOC ses av många som en form av ny folkbildning.

Det är fråga om universitetskurser av bästa kvalitet som arrangeras på nätet för ett obegränsat antal studenter varifrån som helst i världen. Kurserna har hittills varit gratis. Och det bästa av allt är att studieprestationerna kan tillgodoräknas för din examen. (Tillgodoräknandet förutsätter skilt förfarande; mer om detta i ett senare inlägg.)

Öppna kurser och videoinspelade föreläsningar på nätet har förekommit tidigare. Men dessa har sällan eller aldrig resulterat i något betyg.

Att man tidigare inte har kunnat avlägga dessa öppna gratiskurser har haft att göra med svårigheten att kontrollera och betygsätta prestationerna. Kostnaderna och svårigheten att uppbära avgift för deltagandet har säkert därtill inverkat.

Men nu har situationen ändrats och universitetsvärlden står inför nya utmaningar. Och det intressanta är att man även har kunnat ta i bruk nya lösningar.

MOOC ses i dag av många som ett spännande experiment i nya pedagogiska former som utnyttjar webbens möjligheter att samarbeta. Dessa kurser ter sig som ett pedagogiskt laboratorium där man på ett effektivt sätt kan samla stora mängder data från verklighetstrogna undervisningssituationer.

Varför erbjuder vissa universitet dessa kurser? Vilken är deras ”affärsidé”?

  • Marknadsföring — Redan länge har universitet haft behov av att visa upp sina kurser, erbjuda smakprov och därigenom övertyga betalande studenter att skriva in sig vid dessa. MOOC är bara en så mycket större marknadsföringskanal. De lösningar som används för poängsättning av prestationerna kan även användas för att vaska fram de mest lovande studenterna.
  • Introduktion till kommande avgiftsbelagda kurser — Ifall studenterna först gratis avlägger det som avläggas kan, är de måhända lättare att locka in som betalande studenter för att få ihop de resterande prestationerna. Ett alternativ till detta är att utbudet nu i början fungerar som ett sätt att bygga upp teknik och rutiner för en kommande marknad.
  • Samarbete med arbetsgivare — Många MOOC-kurser har arrangerats så att både föreläsare och tillämpningar är hämntade från företag som t.ex. Google. Dessa har därigenom från ett stort och internationellt urval av studerande kunnat hitta presumtiva arbetstagare.
  • Material för pedagogisk forskning — MOOCs ger tillgång till data från verkliga undervisningssituationer. Många av de tekniska lösningar som kommit fram kan tillämpas även i universitetens normala undervisning.

Källor:

 

Argument för och emot extern forskningsfinansiering

Problematiken kring extern forskningsfinansiering handlar inte bara om forskarnas möjligheter att få mera pengar.

Jag ska här referera några insikter från utredningen Analyse af universiteternes og sektorforskningsinstitutionernes finansiering og organisering. Utredningen är utförd 2009 av konsultfirman McKinsey & Co på uppdrag av det danska vetenskapsministeriet samt finansministeriet.

Utredningen baserar sig på data, analyser och kommentarer rörande ett urval danska universitet och sektorforskningsinstitut, inklusive humanistiska fakulteten vid Köpenhamns universitet.

Denna synnerligen givande utredning fördelar sig på tre avsnitt, av vilka det för mig kanske mest relevanta avsnittet behandlar olika finansieringsformers effekt på forskningen (s.61-81). Därtill innehåller utredningen ett omfattande avsnitt som dokumenterar finansieringen och resursanvändningen vid de berörda enheterna, samt ett avsnitt som analyserar taxametersystemet och undervisningens kostnadsstrukturer.

Vilka är de viktigaste argumenten för extern forskningsfinansiering?

  • Den externa finansieringen är alltid konkurrensutsatt, så att bara de bästa finansieras. Genom förfarandet underställs ansökningarna kvalitetskontroll.
  • En öppen konkurrens kan även ge bättre möjligheter för forskare som inom sin institution måhända har upplevt alltför snävt paradigm.
  • Kostnadseffektivt genom att finansieringsbehovet och omfånget analyseras.
  • Ger möjlighet att styra genom att tematisera och koordinera.
  • Dessutom måste finansiering ofta samlas från flera håll, vilket öppnar för samarbete.

På vilka grunder kan man motsätta sig extern forskningsfinansiering?

  • Den externa finansieringen saknar ofta kontinuitet och är därmed otrygg för individen.
  • Ansvaret för infrastrukturen lämnas så gott som alltid till att betalas via basanslaget.
  • Trots friheten för alla att hävda sig i konkurrensen, upplevs den externa finansieringen ofta som ett hot mot forskarens oberoende. Nya och avvikande satsningar kan uppleva det som att de inte får tid att gro.
  • Ett alltför stort beroende av extern finansiering kan frånta universitetets ledning möjligheterna att profilera sig på egna villkor.

Forskningsresultatens kvalitet står förvisso inte alltid i relation till finansieringens vare sig mängd eller ursprung, vilket nogsamt påpekas i utredningen. Utredningen konkluderar att den danska modellen strävar till en balans mellan basanslag och konkurrensutsatt finansiering. Balansen varierar i olika länder beroende på traditioner och finansieringsstrukturen (se ett tidigare blogginlägg).

Externa forskningsfinansieringens andel

Målsättningen är att den externa forskningsfinansieringens andel ska vara 40 % av universitetets budget vid 2012. Detta är en tuff målsättning som har satts upp i avtalet mellan Helsingfors universitet och undervisningsministeriet [på finska]. Den nuvarande nivån ligger på 36 % (34 % genomsnittet beaktande samtliga universitet i Finland).

Nivån — och möjligheterna — varierar starkt mellan olika fakulteter. Medicinska, farmaceutiska, biovetenskapliga samt matematisk-naturvetenskapliga fakulteterna når lätt upp till den nivå som ministeriet satt upp som mål. Deras respektive andel extern finansiering i förhållande till statsanslaget är nämligen dubbelt så stor jämfört med nivån inom de övriga fakulteterna.

Den externa finansieringens volym för humanistiska fakulteten vid Helsingfors universitet har hållit sig ganska stabil vid 7-8 milj. euro per år. Men i förhållande till fakultetens totala finansiering visar den dessvärre en nedåtgående trend (gula linjen i nedanstående graf).

(Klicka här för större bild samt specifikation per institution samt per finansiär.)

Extern finansiering vid KU / hum
År
Extern finansiering
2008 13,4
milj. euro
2007 16,1
milj. euro
2006 8,0
milj. euro
Motsvarande nivå vid Köpenhamns universitets humanistiska fakultet har under en treårsperiod varit så som framgår av vidstående tabell.

Den externa finansieringen vid KU / hum visar en uppåtgående trend. För år 2008 låg den externa finansieringen på 19 % av fakultetens totala budget. Detta är mycket nära den nivå som gäller för HU / hum.

Den plötsliga stegringen för år 2007 är en avvikelse som förklaras av ett stort startbidrag som beviljades från Danmarks Grundforskningsfond, en fond som stöder grundandet av spetsforskningsenheter, i detta fall det tvärvetenskapliga Center for Subjektivitetsforskning.

Extern finansiering hjälper bara lite

Precis som i Finland är den externa forskningsfinansieringens andel ganska liten i Danmark.

Universiteten i Finland får extern finansiering främst från Finlands Akademi, vars andel av den externa finansieringen är över en fjärdedel generellt och närmare 60 % för humanistiska fakultetens del. Andra stora finansiärer är Tekes och EU.

En specialitet för Helsingfors är universitetets donationsfonder och avkastningen från av universitetet ägda företag, främst affärskedjan Universitetets Apotek. Fonderna och företagen stöder forskningen vid universitetet med över 30 miljoner euro årligen.

I Danmark finansieras forskningen utöver universitetens basanslag främst via två instanser vid Forsknings- og Innovationsstyrelsen:

  • Det Frie Forskningsråd, som inom sig har fem underavdelningar, av vilka Kultur og Kommunikation (FKK) närmast berör humaniora. DFF finansierar särskilt forskning kring sådana problemställningar som lyfts fram inom forskarsamfunden.
  • Det Strategiske Forskningsråd, som är ett statligt teknologi- och innovationsråd. DSF är mera centralstyrt med teman som är forskningspolitiskt prioriterade, exempelvis inom hälsa, energi och miljö. Humanistiska intressen inryms måhända främst inom temat ”uddannelse og kreativitet”.

Det är anmärkningsvärt att både Finland och Danmark har en förhållandevis liten andel extern finansiering. Detta är något som de danska högskolerektorerna har pekat på i en sammanställning av statistik från en internationell jämförelse:

Mera öl ger fler stipendier

I Danmark är det i stor utsträckning ölproducenten Carlsberg som står för den externa finansieringen för humanistisk och samhällsvetenskaplig forskning.
 

Carlsbergfonden har till uppgift att främja och stödja dansk grundvetenskaplig forskning inom humanistisk vetenskap, samhällsvetenskap och naturvetenskap. Därtill driver fonden Nationalhistoriska muséet på Frederiksborg.

År 2009 beviljade fonden circa 17 miljoner euro till vetenskaplig verksamhet och circa 2,2 miljoner euro för Nationalhistoriska muséet. Därtill bedriver fonden även ett laboratorium för utvecklandet av öltilverkningen, som finansieras via fonden med 1,6 miljoner euro per år.

Därtill kommer Nya Carlsbergsfonden, som stöder konstmuséet Glyptoteket samt angränsande konstnärlig verksamhet. En annan ölfond, Tuborgfonden stöder samhällsinriktad och kulturell verksamhet samt upprätthåller tre större samhällsinriktade forskningsprojekt.