Office 8, level 18-A Jl. Jend Sudirman Kav. 52-53 Sudirman Central Business District (SCBD) Jakarta Selatan
085157374451

Real World Evaluation

Studio

RealWorld Evaluation (RWE) merupakan pendekatan terpadu untuk memastikan standar ketelitian metodologis yang dapat diterima saat beroperasi di dalam kondisi serba terbatas baik anggaran, waktu, data, dan kendala politik. RWE dikembangkan guna membantu para praktisi evaluasi dan klien termasuk manajer, agen pendanaan dan konsultan eksternal. RWE pada awalnya dirancang untuk negara-negara berkembang berkaitan dengan tantangan khusus dalam melakukan evaluasi, seperti:

  1. Tidak tersedianya data sekunder yang dibutuhkan
  2. Praktisi evaluasi lokal yang langka
  3. Anggaran untuk evaluasi sangat terbatas
  4. Kelembagaan dan politik yang kaku
  5. Rendahnya budaya evaluasi
  6. Banyak kegiatan evaluasi dirancang oleh / untuk lembaga pendanaan eksternal dan jarang mencerminkan prioritas kepentingan level lokal dan nasional.

 

Tools atau alat yang digunakan RWE dalam evaluasi tidaklah baru, melainkan mempromosikan pendekatan terpadu (holistic) dan terintegrasi.  Pendekatan terpadu ini menggabungkan berbagai alat yang diadaptasi untuk menghasilkan evaluasi dengan kualitas terbaik di bawah batasan RealWorld. Pendekatan ini dilakukan melalui serangkaian langkah, masing-masing dengan daftar periksa untuk mengidentifikasi kendala dan menentukan cara mengatasinya, sebagai berikut:

Sebelum evaluasi dapat dilakukan, perlu mengidentifikasi teori atau model logika (logic model) eksplisit atau implisit yang mendasari desain yang menjadi dasar proyek. Fungsi penting dari evaluasi dampak adalah untuk menguji hipotesis bahwa intervensi dan keluaran proyek berkontribusi pada hasil yang diinginkan, yang bersama dengan faktor-faktor eksternal yang diasumsikan akan menang oleh proyek, telah mengarah pada dampak berkelanjutan.

Mendefinisikan teori program atau model logika adalah praktik yang baik untuk evaluasi apa pun. Hal ini sangat berguna di RWE, di mana karena anggaran, waktu, dan kendala lainnya, perlu memprioritaskan apa yang perlu difokuskan pada evaluasi. Tinjauan awal tentang apa yang dilakukan suatu proyek berdasarkan model logikanya dapat mengungkapkan data atau informasi yang hilang yang diperlukan untuk memverifikasi apakah logikanya baik dan apakah proyek mampu melakukan apa yang diperlukan untuk mencapai dampak yang diinginkan.

Jika model logika jelas diartikulasikan dalam rencana proyek, itu dapat digunakan untuk memandu evaluasi. Jika tidak, evaluator perlu membangunnya berdasarkan tinjauan dokumen proyek dan diskusi dengan lembaga pelaksana proyek, peserta proyek, dan pemangku kepentingan lainnya. Dalam banyak kasus, ini membutuhkan proses berulang di mana desain model logika berkembang karena lebih banyak dipelajari selama evaluasi.

Selain mengartikulasikan teori sebab-akibat internal di mana proyek dirancang, model logika juga harus mengidentifikasi karakteristik sosial-ekonomi kelompok populasi yang terkena dampak, serta faktor kontekstual seperti kondisi ekonomi, politik, organisasi, psikologis dan lingkungan. yang mempengaruhi komunitas sasaran. Fase atau level kunci dari model logika sederhana dapat diringkas sebagai berikut:

Dalam RWE, penting juga diperhatikan mengenai ‘challenges and strategies’ atau tantangan dan strategi dalam konteks keberadaan dampak yang ketat atas evaluasi bagi pembangunan. Dampak dari evaluasi yang ketat (rigorius evaluation) ini harus bisa memperlihatkan hubungan sebab-akibat langsung antara satu keluaran (atau jumlah keluaran yang sangat terbatas) dan hasil yang dapat diukur pada akhir proyek penelitian. Sehingga ini menunjukkan atribusi/relasi yang cukup jelas. Bisa juga menunjukkan perubahan indikator tingkat tinggi dari perbaikan berkelanjutan dalam kualitas hidup manusia, misalnya dampak dari program-program SDGs. Dampak ini lebih signifikan tetapi jauh lebih sulit untuk menilai atribusinya secara langsung.

Namun demikian, terdapat kondisi-kondisi dimana rigorous evaluation demi memberikan dampak level-tinggi (high-level impact) tidak bisa dilakukan, misalnya:

  1. Program yang rumit dan kompleks di mana ada banyak intervensi oleh banyak aktor yang terlibat didalamnya.
  2. Proyek yang bekerja dalam konteks yang dinamis (mis. Konflik, bencana alam)
  3. Proyek dengan beberapa model logika berlapis (multiple layered logic models), atau hubungan sebab akibat yang tidak jelas (unclear cause-effect) antara keluaran dan “pernyataan visi” tingkat tinggi.
  4. Pendekatan yang mungkin diambil oleh evaluator adalah jika korelasi antara efek perantara (hasil) dan dampak tingkat lebih tinggi telah ditetapkan secara memadai melalui penelitian dan evaluasi sebelumnya, maka penilaian indikator tingkat hasil perantara mungkin cukup, selama konteksnya (kondisi internal dan eksternal) dapat ditunjukkan cukup mirip dengan di mana korelasi sebab-akibat tersebut telah diuji.

Pesan penting dari pendekatan RWE adalah bahwa evaluator harus siap menghadapi tantangan evaluasi apapun kondisinya, sebab dengan demikian akan ada banyak pengalaman untuk dipelajari. Selanjutnya, agar evaluator jangan pernah menggunakan batasan waktu dan anggaran sebagai alasan untuk membuat kecerobohan dalam menyusun metodologi evaluasi. Terakhir, jangan lupakan daftar “ancaman terhadap validitas” atas evaluasi karena dapat membantu seorang evaluator tetap jujur dengan mengidentifikasi kelemahan potensial dalam desain dan analisis evaluasi.

Kontributor: Wijatnika

Referensi:

Michael Bamberger, Jim Rugh and Linda Mabry RealWorld Evaluation: Working under Budget, Time, Data and Political Constraints. © Sage Publications 2006.