Evalnet är ett nätverk för utvärderingsorganisationer i länder som är medlemmar i OECDs Development Assistance Committee (DAC). EBA har varit medlem i nätverket sedan vi bildades och jag var i förra veckan med på mitt tredje möte. En fråga som har varit uppe på flera möten är hur utvärderingsenheter ska arbeta med konsulter för att få bra utvärderingar. Frågan lyftes om biståndsgivarna kanske behöver tänka om vad gäller upphandling av konsulttjänster. Samma modell för upphandling har använts lång tid och i regel ser den likadan ut oavsett vad det är för typ av utvärdering som ska göras. Konsulter kontrakteras kortsiktigt på basen av uppdragsbeskrivningar som i detalj styr vad konsulterna ska göra och vilka metoder de ska använda.
Ett skäl för att använda konsulter i utvärderingsverksamheten är att det anses viktigt med oberoende utvärderingar. Samtidigt är utvärdering av biståndsinsatser inte som vilken tjänst som helst. Särskilt när det gäller utvärdering av komplexa insatser är det svårt att på förhand specificera exakt vad utvärderingen ska gå ut på och hur den ska genomföras. I sådana fall behövs en löpande dialog med konsulterna och ibland längre avtal. Konsulterna behöver också vara involverade i processen med at ta fram uppdragsbeskrivning. Den nödvändiga involveringen av konsulterna i processen väcker frågan om beställaren behöver göra avkall på oberoendet för att få bra kvalitet på utvärderingarna.
EBA är lite av en udda fågel i Evalnet då vi i regel inte utvärderar enskilda biståndsinsatser, men frågan om avvägning mellan oberoende och kvalitet är lika viktig för oss. Som vi har skrivit om tidigare arbetar vi med något som kan betecknas som dubbelt oberoende; EBA väljer själv, oberoende av regeringen, vilka utvärderingar och analyser vi ska göra. Samtidigt ansvarar författaren själv för slutsatser och rekommendationer och det är hens namn som står på rapportens framsida. En förutsättning för att EBA ska publicera studien är dock att det underlag som författaren har för sina slutsatser och rekommendationer håller tillräcklig kvalitet. För att nå önskad kvalitet tillsätts en referensgrupp bestående av experter som följer och kommenterar rapportutkast kontinuerligt under genomförandet. Ordförande för referensgruppen är alltid en EBA-ledamot.
Men kan då referensgruppen påverka författarens oberoende? Det skulle den kunna göra. Därför är det viktigt att författaren från början känner ett starkt ägarskap för rapporten. EBAs rapporter är inte beställningsarbeten där författaren ska bocka av det som står i uppdragsbeskrivningen. En viktig skillnad mellan hur EBA jobbar och hur utvärderingar upphandlas i biståndsbranschen i övrigt är att uppdragsbeskrivningen tas fram i samarbete med författaren. EBAs modell är alltså snarlik det som andra medlemmar i Evalnet nu sneglar mot. En modell där författaren är involverad i studiens utformning och samtidigt kan stå oberoende i sin analys och sina slutsatser.
Sonja Daltung
Kanslichef