Möjligheter med Data Science och Natural Language Processing i utvärdering

En fallstudie av metautvärdering inom internationellt utvecklingssamarbete.

Möjligheten att använda alternativa metoder för att samla in och analysera data för användning i utvärdering, utöver mer traditionella metoder som intervjuer, enkäter och fokusgrupper, tros öka med den intensifierade digitaliseringen och den ökade sociala aktiviteten på internet.

Den här studien syftar till att undersöka möjligheten att använda data science i metautvärderingar av program inom utvecklingssamarbetet. Den föreslagna approachen kommer att inkludera en rad olika analytiska metoder, med tonvikt på databaserad behandling av mänskligt språk, Natural Language Processing (NLP).

Studien kommer att behandla följande frågor:

  1. Kan en data science- och NLP-approach producera trovärdiga bedömningar av vad tidigare utvärderingar har dragit för slutsatser om biståndsprojekt och program i relation till OECD/DACs utvärderingskriterium relevans?
  2. Vilka styrkor och svagheter har de här metoderna i jämförelse med approacher som förlitar sig på manuella tekniker?

Författare: Gustav Engström, PhD, data scientist, Jonas Norén, M.Sc., consultant, Cecilia Ljungman, senior evaluation advisor

Ordförande för referensgrupp: Torgny Holmgren

Projektledare på EBA: Lisa Hjelm

Förväntad publicering: Q2 2021