Den här EBA-rapporten undersöker möjligheterna med att använda data science och språkteknologi som utvärderingsmetoder inom utvecklingssamarbetet. Rapporten undersöker huruvida dessa metoder kan producera tillförlitliga bedömningar om vad tidigare utvärderingar har dragit för slutsatser om biståndsprojekt och program (relaterade till OECD/DACs utvärderingskriterier). Rapporten går även igenom styrkorna och svagheterna med dessa metoderna jämfört med en manuell analys.
Rapporten presenterades under seminariet Metodseminarium: Kan data science bidra till bättre utvärderingar inom utvecklingssamarbetet?
Huvudsakliga resultat
- Deskriptiv statistik kan samlas in snabbt och effektivt med metoder inom data science.
- Den genererade statistikens precision var generellt i nivå med en manuell bedömning.
- Utmaningar uppstod i mer komplexa tolkningar av resultat, såsom om ett projekt bedömdes vara hållbart eller inte. De mer komplexa tolkningarna skiljdes sig också åt i de manuella, mänskliga bedömningarna.
- Författarna drar slutsatsen att användbarheten av metoder inom data science beror på vilka resurser som finns tillgängliga, krav på transparens och replikerbarhet och behovet av en utökad analys.
Rapportförfattare
Gustav Engström, fil dr, datavetenskap
Jonas Norén, M.Sc., konsult