EBA-seminarium om utbildningsbistånd, 2016-05-11
”Rätten till utbildning är en mänsklig rättighet och en grundsten för demokrati, jämställdhet och jämlikhet samt för en ekonomiskt, socialt och miljömässigt hållbar utveckling” skriver Regeringen i det nya Policyramverk som just nu är ute på remiss. Vikten av en god utbildning för alla har också nyligen fastslagits i SDG-målet nr 4: ”Säkerställa en inkluderande och jämlik utbildning av god kvalitet och främja livslångt lärande för alla”.
Utbildning är således viktigt och prioriterat, men vad vet vi om vilka biståndsinsatser som fungerar när det gäller påverkan på barn och ungas tid i skolan i fattigare länder och för att barnen också ska lära något när de väl är där? Nästan lika viktig är frågan hur vi bör gå tillväga för att få svar på dessa frågor? De frågeställningarna och andra närliggande var utgångspunkt när Expertgruppen för biståndsanalys bjöd in till nästan en hel dags seminarium i Sidas lokaler för att presentera två syntesstudier (EBA 2016:02 och 2016:03) om utbildningsbistånd.
På seminariet gavs det gott om tid för att diskutera utbildning, bistånd och vad vi egentligen kan lära av utvärderingar som genomförs. Tanken var att ge aktörer med intresse för utbildningsbistånd (men också utvärderingsfrågor) möjlighet att borra djupare i enskilda frågor och teman efter att de digra kunskapssammanställningarna presenterats. Bakgrunden till seminarieupplägget var bland annat att den rapport Joel Samoff (Stanford University) med kollegor tagit fram (2016:03) lyfter svårigheter att åstadkomma lärande från utvärderingar. Utifrån denna slutsats såg EBA det som en utmaning att försöka arrangera en så lärande-inriktad lansering av rapporterna som möjligt – ett seminarium som gav tid till just lärandet. Ett för EBA nytt grepp testades då seminariet avslutades med ett antal sessioner där svenska och även norska biståndsaktörer gavs möjlighet att diskutera vad de tog med sig från rapporterna. Tanken var att bidra till en mötesplats som stödjer lärande för utbildningsbiståndet utifrån nyframtagen kunskap men där tillfälle också gavs att ”lära om själva lärandet” och lärandets förutsättningar.
Bistånd till utbildning behövs
Seminariet inleddes med att Professor Pauline Rose från Cambridge Universitet gav en bred genomgång av biståndets roll för att uppnå det utbildningsinriktade SDG- målet (#4) (Rose bilder). Ett klart budskap var att biståndet är viktigt om utbildningsmålet ska nås till 2030. Den externa finansieringen är fortsatt grundläggande för många fattiga länders utbildningssystem, detta oavsett nu pågående diskussioner om eventuellt minskat biståndsberoende i låg- och medelinkomstländer.
Nedgången i bistånd till utbildning behöver brytas enligt Rose som visade hur det svenska biståndet till utbildning inte bara minskat över tid utan att det också fluktuerar på ett sätt som kan ha negativ inverkan på biståndseffektiviteten. Minskningen i det svenska utbildningsbiståndet är enligt Rose särskilt tydlig med avseende på ”Basic Education”, dvs. grundskolenivå.
Rose visade också att utbildningsbiståndet internationellt inte fördelas på ett jämt sätt mellan fattiga länder utan att det finns tydliga ”aid orphans” och ”donor darlings”. Relativt stora delar av utbildningsbiståndet används till utbildningsstipendier i rika länder vilket gör att mottagarländer missar delar av biståndets potentiellt stärkande effekter.
Klicka på bilden för att förstora.
Men även fattiga länders resursmobilisering behöver stärkas för att motverka ett alltför långsiktigt beroende av bistånd i utbildningsbudgetarna. Biståndet bör, menade Rose, fokusera på de tidigare skolåren, bland annat som ett sätt att motarbeta ojämlikhet i utfall med avseende på lärande och skolgång mellan olika inkomstgrupper och samhällsskikt.
Evidens om utbildningsbistånd ur två perspektiv
Vad vet vi då om vad som fungerar när det gäller bistånd till utbildning? I EBA-rapport 2016:02 syntetiserar Paul Glewwe (University of Minnesota) och Suzanne Wisniewski (University of St. Thomas) den senaste (främst ekonomiska) forskningen om utbildningspolitik, program och interventioner i utvecklingsländerna på utbildningsområdet. Målet med rapporten är att skapa ett verktyg för beslutsfattare och givare som vill veta vad forskningen har att säga om effektivitet, för användning vid planering av direktinvesteringar inom utbildningssektorn. De studier som ingår i syntesen är baserade på kvantitativa analyser, där en metod har använts som kan fastställa orsakssamband mellan insats och pedagogiska och andra resultatet (randomiserade kontrollstudier (RCTer), så kallade RDD- design eller ”difference in difference”-metodologi). Slutsatserna (presenterade på biståndsdebatten.se) är kategoriserade utifrån ”vad som fungerar”, ”vad som ofta fungerar”, ”vad som verkar vara lovande insatser men som behöver mer bevis” och ”vad som inte verkar fungera” när det gäller att uppnå två av de kanske viktigaste utbildningsmålen: ökad tid i skolan samt förbättrad inlärning (se forskarteamets evidensträd nedan). Ett av de tydligast fungerande interventionerna avseende ökad tid i skolan är insatser av typen ”Conditional Cash Transfers”, men även exempelvis meritbaserade stipendier verkar stimulera lärande. Professor Glewwe och hans team pekade också på utmaningen att välja rätt åtgärd för att ta itu med ett identifierat problem. I ett givet sammanhang kan det vara mest effektivt att ge alla barn avmaskningsmedicin snarare än att leverera mer pedagogiskt material till skolan.
Bilden nedan är hämtad från författarnas EBA-rapport och visar slutsatser avseende olika interventioners effektivitet för förbättrad inlärning.
Klicka på bilden för att förstora.
Det är förstås viktigt att sätta resultat i relation till kostnader. Glewwes team konstaterade att det inte har varit fokus för de flesta av utvärderingarna och att det är något som behöver ändras framöver.
Det andra forskarteamet representerat av projektledaren Professor Joel Samoff från Stanford University, hade istället tagit ett brett grepp och fokuserat på sammanhanget kring utbildningsinsatserna utifrån den övergripande frågan om vad vi kan lära av utvärderingar som genomförs i projekt och stödprogram (med fokus på stöd till utbildning). Teamet har granskat och syntetiserat ett urval av utvärderingar från ett stort antal nationella och internationella givare och organ av olika karaktär. Rapporten betonar bland annat inkluderingen av det omgivande samhället samt komplexiteten i analysen av stödets effekter. Författarna drar slutsatsen att leveransen av olika ”in-put” (datorer, skolböcker, fler lärare, skolor, etc.) sällan är tillräckligt för att uppnå förväntade resultat och att biståndsprojekt och program måste vara mer holistiska och se utbildning som en integrerad process och ett system där det behövs ett brett deltagande av grupper i samhället. Förankring och deltagande är nyckelord. Frågorna om hållbarhet och lokalt ägarskap, tillsammans med behovet av mer lämpliga tidshorisonter i projekt och program, beskrivs som ständigt stora utmaningar. Samoff visar också att utvärderingar sällan främjar lärande och bidrar med ny kunskap.
Panelen, bestående av både ansvariga för det svenska och det norska utbildningsbiståndet och dagens keynote speaker, gav rapporterna både ris och ros. Panelen lyfte svårigheten med att faktiskt dra slutsatser för policy från syntesstudier. Paul Glewwes sätt att gruppera olika insatser med avseende på effekt, uppfattades kunna ge beslutsfattare tydliga och handfasta slutsatser – något de ofta efterfrågar. Det ifrågasattes dock om rekommendationerna i Paul Glewwes sammanfattning kanske blev för tydliga då de inte fullt ut speglade den mer nyanserade bild av evidensbasen för olika områden som finns i rapporten.
Det lyftes också att det kontext- och komplexitetsfokuserade perspektiv som Joel Samoff och medförfattares rapport står för tenderar att betona den komplexa kontexten så mycket att det slutligen blir svårt att veta vilka slutsatser som egentligen går att dra. Pauline Rose tog upp exemplet interventioner som stödjer skolor med nya skolböcker och menade att det är självklart bra att man kan se i effektstudier att detta fungerar eller inte fungerar. Men det viktigaste att veta som givare är ju varför skolböckerna bidrar eller inte bidrar till bättre inlärning. För att veta det måste man veta hur skolböckerna hanteras av lärarna, om de är skrivna på ett språk barnen kan ta till sig och om de faktiskt används eller om de samlar damm i någon garderob. Dessa kontextfaktorer kan inte alltid fångas i en RCT-studie.
Klicka på bilden för att förstora.
Efter lunch hade seminariet fokus på metoder och utgångspunkter i de bägge syntesstudierna (se: bilder avseende utgångspunkter och metod här och här).
Vad lärde vi oss?
Med syftet att ge möjlighet till fördjupning kring de teman som tagits upp under dagen anordnades också fyra break-out sessions, eller rundabordssamtal, med fokus på vilka slutsatser internationellt och svenskt utbildningsbistånd bör dra av de bägge studierna och hur man kan lära av utvärderingar.
Klicka på bilden för att förstora.
I Gerd Hanne Fosens (Norad)grupp med fokus på utbildningsbiståndet internationellt (session 1) diskuterades bland annat effektutvärderingar, ägarskap och utmaningar med att utvärdera utbildningsbistånd. I diskussionen framkom att:
- NORAD m.fl. har haft svårt att hitta adekvata indikatorer på projektnivå vad gäller utbildning, dessutom saknas ofta en baseline att utgå ifrån, vilket omöjliggör effektutvärderingar.
- För många utvärderingar fokuserar på skolresultat och inte på den delen av utbildning som handlar om att ge människor möjligheter till ”empowerment” och social utveckling.
I session 2, som leddes av Stellan Arvidsson Hyving, Sida, diskuterades det framtida svenska utbildningsbiståndet. Fokus var på hur rapporterna ska kunna komma till nytta, vilket inte sågs som självklart. Det uttrycktes en förhoppning att regeringen skulle vilja satsa mer på utbildning i det svenska biståndet framöver och att det kommande policyramverket skulle ge en vägledning om utformningen.
I break-out session 3 (som leddes av Arne Bigsten, EBA och Göteborgs universitet) diskuterades vilka slutsatser som kunde dras för framtida syntesutvärderingar på biståndsområdet? Några aspekter på denna fråga som kom upp var att:
- Syntesutvärderingar är viktiga beslutsunderlag för biståndet i framtiden.
- Det finns ett behov av att samordna arbetet med synteser internationellt och de utvärderingar som görs bör göras allmänt tillgängliga för att undvika dubbelarbete. Det är viktigt att utvärderingar fångar kontextuella faktorer.
- Utvärderingar bör sätta nyttan med insatser i relation till insatsens kostnad.
- Nyttan med en syntesstudie går tillbaka till den underliggande basen av studier som finns tillgängliga eller som man valt att inkludera.
- Lärande och tillvaratagande av utvärderingar är en betydande utmaning.
Breakout session 4 som leddes av Joakim Molander (utvärderingschef på Sida) diskuterade vilka slutsatser som kunde dras från seminariet med avseende på utvärdering av det svenska biståndet. Bakgrunden till att denna session var att Joel Samoffs rapport i hög grad diskuterar utvärderingsfrågan och problematiserar utvärdering utifrån frågeställningen: Vad kan man egentligen lära av utvärderingar? Slutsatser från diskussionen var bland att:
- Det går absolut att lära av utvärderingar, men de behöver utformas utifrån den fråga som man ska besvara.
- Deltagarperspektivet i utvärderingar behöver stärkas, främst på mottagsidan.
- Alla projekt kan inte och bör inte utvärderas med ett randomiserat kontrollexperiment (RCT). Till exempel kan en regressionsanalys som tar in kontextvariabler i analysen ibland vara ett bättre alternativ. Regressionernas tynande tillvaro i relation till uppsvinget av RCTer (inte just i Sverige) lyftes. Varför görs inte fler regressioner som tar in fler kontextvariabler i analysen? Vilket RCTer anklagas för att inte göra.
Dagen avslutades med fortsatta diskussioner och mingel med forskare och praktiker i Sidas restaurang. Det var glädjande att så många stannade kvar under hela dagen någon som kanske vittnade om ett uppdämt behov av att diskutera utbildningsfrågorna och biståndets roll relativt dessa.
Frågor för framtiden
Dagen som helhet (rapporter och diskussioner) kan sägas ha lyft minst tre framtidsfrågor för biståndets aktörer att fundera vidare på:
1) Vem ska finansiera insatserna för att uppnå SDG-mål 4 om utbildning fram till 2030? Vilken roll ska Sverige ta?
2) Hur kan biståndet ta tillvara på den breda kunskapsbas som EBAs nya syntesstudier summerat i arbetet med framtidens svenska utbildningsbistånd? Hur kan biståndsverige stärka tillvaratagande av internationell forskning och evidens om utveckling, fattigdom och bistånd i arbetet?
3) Hur kan biståndet arbeta med utvärderingar och uppföljning så att de faktiskt också blir ett effektivt instrument för lärande på alla nivåer i biståndssystemet?
Epilog – en renässans för bistånd till utbildning?
Efter seminariet har regeringen skickat ut policyramverket för det svenska utvecklingssamarbetet på remiss. I det förekommer ordet utbildning (i olika former) hela 80 ggr. Något som kan jämföras med begreppen fattigdom, mänskliga rättigheter och jämställdhet som förekommer 91, 68 respektive 51 gånger: Håller utbildningsfrågan på att få en renässans i det svenska biståndet? Äntligen!?