Inom utvecklingsbiståndet pågår ett ständigt sökande efter nya, tillförlitliga och välanpassade metoder för utvärdering. Ett ändamålsenligt metodval förutsätter förståelse för styrkor och svagheter med olika metoder. Denna rapport bidrar till detta genom att presentera en specifik utvärderingsmetod: kvalitativ komparativ analys, QCA.
Rapporten innehåller en stegvis guide till hur QCA används, baserad på verkliga exempel. En diskussion förs om vilka utvärderingsfrågor som är möjliga att besvara med metoden och under vilka förutsättningar QCA fungerar särskilt bra, men också i vilka situationer den är mindre lämplig. Rapporten riktar sig både till beställare av utvärderingar och till dem som genomför utvärdering, med för varje grupp relevanta frågor om QCA.
Rapporten presenterades under seminariet Impact Evaluation using Qualitative Comparative Analysis (QCA).
Resultat
- QCA bidrar till att minska avståndet (eller avgrunden) mellan kvalitativa och kvantitativa metoder. Metoden användas för att analysera såväl små dataset (från tre fall) som större datamängder.
- QCA är väl anpassade för teoriutveckling och är en relativt billig metod då den ofta används för att göra det bästa utav redan existerande data.
- QCA är lämplig för att sammanfatta resultat, t.ex. från fallstudier, och bedöma hur generaliserbara de är.
- QCA bidrar till en djupare förståelse for vad som fungerar bäst för olika grupper, under olika förutsättningar, i olika sammanhang.
- QCA är väl lämpad för att fånga komplexa orsakssamband: kausala bestämningsfaktorer som kan utgöra nödvändiga men inte tillräckliga villkor, eller enbart tillräckliga men inte nödvändiga villkor.
- En checklista för kvalitetssäkring föreslås för att fullt ut utnyttja möjligheterna med QCA och för att undvika felanvändning av metoden.
- Rapporten uppmärksammar även ett fallgropar, utmaningar och begränsningar med QCA, exempelvis behovet av jämförbara data
för de fall som jämförs; behovet av teknisk kompetens i utvärderargruppen; svårigheten att uppskatta antalet iterationer som behövs för att kunna dra meningsfulla slutsatser; och behovet av att göra rimliga, verklighetsförankrade tolkningar av resultaten.
Rapportförfattare
Barbara Bafani, forskare/konsult