Meskipun Disebut Gold Standard, Ternyata RCT Masih Mendapat Kritik

Dengan segala puja puji terhadap hasil yang diberikan oleh RCT (Randomized Controlled Trials), ternyata masih ada kritik untuk metode ini. Kritik tersebut akan melengkapi pemahaman kita mengenai RCT sebagai metode evaluasi dampak.

RCT atau Randomized Controlled Trials terkenal dengan segala ketentuan yang cukup tinggi untuk menjalankan. Ada beberapa syarat yang mesti dipenuhi agar RCT dapat berjalan dengan baik dan mendapatkan hasil terbaik.

Ketentuan seperti kelompok eksperimen yang sebanding (antara kelompok treatment dan kelompok kontrol). Pemilihan sampel dengan randomisasi melalui tahap yang transparan dan adil. Kedua hal tersebut memerlukan daya dan dana yang cukup mahal untuk dibayarkan oleh peneliti/program manajer.

Berikut adalah beberapa poin mengenai kritik untuk RCT (Randomized Controlled Trials).

• Sulit Diterapkan pada Sampel yang Terlalu Kecil

Pada dasarnya RCT adalah eksperimental berdasarkan data. Oleh karena itu tidak akan bisa diterapkan kepada populasi dengan sampel yang terlalu sedikit. Hal ini berhubungan pada pengolahan data statistik. Akhirnya akan bergantung pada kekuatan statistik (power statistic) pada interpretasi data. Dengan begitu juga akan membuat validitas internal menjadi tak bisa diandalkan.

Populasi dan sampel yang terlalu kecil juga akan berhubungan terhadap prinsip ekuivalen, dan hasilnya jadi tidak bisa digeneralisir di berbagai populasi lainnya. Karena validitas eksternalnya menjadi lemah.

• Prinsip Ekuivalen yang Sulit Digapai

Selama menjalankan RCT untuk menerapkan suatu program memerlukan pengukuran yang bisa diandalkan dari kedua kelompok (kelompok treatment dan kontrol). Membuat kedua kelompok ekuivalen membutuhkan kerja keras, karena faktor-faktor yang mungkin saja ada di lapangan sangat banyak.

Kesulitan mencapai kelompok ekuivalen di kedua kelompok menjadi halangan dalam menjalankan dan melaksanakan program. RCT sangat bergantung pada keseimbangan dari karakteristik sampel antara kelompok treatment dan kontrol (pembanding).

Jika kelompok tidak ekuivalen, maka hasil yang terjadi akan sulit dipertanggungjawabkan.

• Penelitian Jangka Panjang Memungkinkan Atrisi (Berkurangnya Partisipan Penelitian)

Penerapan di lapangan dalam menggunakan RCT biasanya terjadi pada waktu yang cukup lama. Kontrol yang diterapkan pada konteks sehari-hari harus sangat kuat diberikan oleh peneliti. Dimulai dari pengawasan di awal hingga akhir program.

Permasalahan yang dihadapi pada penelitian jangka panjang adalah terjadinya atrisi (pengurangan partisipan). Jika terjadi penurunan jumlah partisipan, maka akan mengancam keseimbangan kelompok dan memiliki kemungkinan untuk kelompok menjadi tidak ekuivalen.

• Masalah Etik

Jika penerapan RCT dalam program bantuan kemanusiaan, maka hal ini menjadi masalah etik. Mengapa demikian? Karena dalam RCT akan selalu ada kelompok pembanding dengan kelompok treatment (dalam konteks ini yang diberikan bantuan).

Akan sangat tidak adil bagi kelompok pembanding (kontrol) yang tidak diberikan treatment atau bantuan dari program yang diberikan. Kelompok kontrol hanya dilakukan pengambilan data saja, sedangkan kelompok tersebut memiliki permasalahan yang sama (misalnya sama-sama dalam keadaan ekonomi/gizi buruk).

Hal ini yang perlu diperhatikan dalam menjalankan RCT sebagai evaluasi dampak program, khususnya program bantuan kemanusiaan. Namun, untuk mengatasi hal ini, biasanya program manajer akan memberikan bantuan ketika pengukuran dari kedua kelompok telah selesai dilakukan.

Keempat kritik tersebut merupakan hal yang perlu diperhatikan selama menjalan RCT, terutama dalam menjalankan sebuah program kemanusiaan (pengentasan kemiskinan, peningkatan gizi, dan masalah kemanusiaan lainnya).

Referensi

Bruhn, M., & McKenzie, D. (2009). In pursuit of balance: randomization in practice in development field experiments. American economic journal, 1(4), 200-232.

Gertler, J. P., Martinez, S., Premand, P., Rawlings, B. L., & Vermeersch, J.M. C. (2016). Impact evaluation in practice (2nd ed.). Washington DC: The World Bank.