EBA har publicerat en ny rapport med titeln ”Data Science Methods in Development Evaluation: Exploring the Potential.”
Rapporten undersöker möjligheterna med att använda data science och språkteknologi som utvärderingsmetoder inom utvecklingssamarbetet. Rapporten undersöker huruvida dessa metoder kan producera tillförlitliga bedömningar om vad tidigare utvärderingar har dragit för slutsatser om biståndsprojekt och program (relaterade till OECD/DACs utvärderingskriterier). Rapporten går även igenom styrkorna och svagheterna med dessa metoderna jämfört med en manuell analys.
Några av de huvudsakliga resultaten:
- Deskriptiv statistik kan samlas in snabbt och effektivt med metoder inom data science.
- Den genererade statistikens precision var generellt i nivå med en manuell bedömning.
- Utmaningar uppstod i mer komplexa tolkningar av resultat, såsom om ett projekt bedömdes vara hållbart eller inte. De mer komplexa tolkningarna skiljdes sig också åt i de manuella, mänskliga bedömningarna.
- Författarna drar slutsatsen att användbarheten av metoder inom data science beror på vilka resurser som finns tillgängliga, krav på transparens och replikerbarhet och behovet av en utökad analys.
Rapportförfattare:
Gustav Engström, PhD, data scientist
Jonas Norén, M.Sc., consultant