EBA har nyligen publicerat en kartläggning av hur svenskt bistånd utvärderas (EBA 2015:02). En slutsats av EBA-rapporten är kort och gott att det genomförs väldigt många utvärderingar av svenskt bistånd. Frågan är om det är bra så? Och om dagens system för utvärderingar bidrar till insyn, successiva förbättringar och lärande? Detta och andra frågor diskuterades när EBA bjöd in till samtal kring utvärdering av svenskt bistånd.
Majoriteten av svenska utvärderingar följer ett givet mönster där externa utvärderare får i uppdrag att bedöma insatser utifrån OECD-DACs utvärderingskriterier (måluppfyllelse, effekter, relevans, hållbarhet och kostnadseffektivitet). Vanligtvis genomförs utvärderingarna i mitten eller slutet av en insatsperiod. Sammantaget innebär det ett visst mått av standardisering och ritual i hur det svenska biståndet utvärderas.
En generell global trend är att ”det utvärderas mycket”, som en av paneldeltagarna påpekade. Att utvärdera är ett signum för det moderna samhället. I grunden handlar det om sunt förnuft när man vill lära av tidigare erfarenheter men frågan om användning av utvärderingar är problematisk och har diskuterats sedan 60-talet. Det finns starkt kritisk diskussion som handlar om att många utvärderingar inte används och att mer inte nödvändigtvis är bättre.
Enligt Sida är det oerhört viktigt att utvärderingar används. Det är behovet som ska styra vad som utvärderas. Det finns behov av utvärderingar i många sammanhang men behoven ser olika ut på olika nivåer. Frågan är hur man genomför utvärderingar så att de svarar på skilda behov. Medan man i många länder har provat olika modeller för utvärdering av bistånd har man i Danmark hållit fast vid samma modell under lång tid. Enligt Danidas utvärderingschef har utvärderingsverksamheten en viktig uppgift för lärande och granskning. I det praktiska arbetet riggas utvärderingar på olika sätt beroende på vilket syfte de har. Om syftet är granskning och ansvarsutkrävande är det viktigt med ett oberoende perspektiv men när det handlar om att bidra till lärande är det inte nödvändigtvis lika viktigt, menar hon. Möjligen finns det anledning för Sverige att tänka mer systematiskt och diversifierat när man riggar utvärderingar av svenskt bistånd och att inte tillämpa samma ansats för olika syften?
En närbesläktad fråga handlar om hur man bör göra för att utvärderingar ska kunna fungera som ett stöd för beslut om och i genomförande av bistånd. Detta är förstås ingen ny fråga utan något som har diskuterats i otaliga sammanhang, i böcker och vetenskapliga artiklar, och möjligen finns det inte något enkelt svar. Däremot påtalade en av paneldeltagarna vikten av att inte sätta likhetstecken mellan utvärderingar och kunskapsunderlag. Utvärderingar har visserligen en viktig roll men kan inte ge svar på alla frågor. Inför beslut om nya eller fortsatta satsningar inom ett område är det därför viktigt att även konsultera kompletterande kunskapsunderlag. Bredare kunskapsunderlag behövs. Och detta är något som EBA redan har tagit fasta på. Utöver studier med en utvärderande ansats låter vi även göra studier som systematiskt går igenom forskning och etablerad kunskap inom olika områden. Vi hoppas därmed kunna bidra med kompletterande perspektiv till de utvärderingar av svenskt bistånd som redan genomförs av andra. Mer kunskap är bra men mer utvärderingar är inte självklart bättre.