Hasil penelitian harus nyata secara statistika sebab kalau tidak berarti penelitian gagal?

Saya mempunyai seorang teman yang cukup menguasai teknik penggunaan komputer untuk melakukan analisis kuantitatif, katakan saja namanya Pak Budi, dan karena itu sering dimintai bantuan oleh mahasiswa dan teman-teman lainnya untuk melakukan analisis data. Banyak mahasiswa S1 yang telah dibantunya melakukan analisis data kuantitatif. Demikian juga dengan teman-teman dosen lainnya, banyak dosen yang memperoleh hibah penelitian DP2M Dikti telah dibantunya menganalisis data kuantitatif. Tidak cukup sampai di situ, bahkan baru-baru ini dia membantu menganalisiskan data penelitian disertasi temannya yang sedang menyelesaikan kuliah S3 di sebuah universitas ternama. Ketika saya tanyakan apa pengalaman paling menarik dari membantu mahasiswa dan teman melakukan analisis data kuantitatif? Jawabannya mula-mula agak mengagetkan tetapi semakin lama dia bercerita malah semakin sangat mengagetkan.

Yang meminta tolong menganalisiskan data, katanya, “Juga meminta agar hasil analisis datanya memberikan hasil nyata (significant)”. Dia melanjutkan bahwa bukan hanya mahasiswa yang meminta demikian, tetapi juga dosen yang melakukan penelitian dengan dana hibah penelitian dari DP2M Dikti. Dan lebih mengagetkan lagi, temannya yang sedang studi S3 di sebuah univeritas ternama, juga meminta demikian. Alasannya, katanya, kalau hasil analisis data tidak menunjukkan hasil nyata maka takut penelitiannya dianggap gagal. Kalau itu adalah hanya penelitian mahasiswa S1, mungkin tidak seberapa. Tapi kalau itu adalah penelitian dosen atau apalagi kalau penelitian mahasiswa S3 maka “akan dipermasalahkan kalau hasil analisis datanya tidak ada satu peubah pun yang menunjukkan hasil nyata. Bisa tidak diluluskan”, kata teman saya menambahkan.

Sebelum membahas lebih jauh, ada baiknya terlebih dahulu saya sampaikan bahwa yang dimaksudkan dengan “nyata” di sini adalah “nyata secara statistik” (statistically significant). Data hasil penelitian dapat disimpulkan nyata secara statistika bila mempunyai nilai p £0,05 dan diberi notasi bintang satu atau ^*) (£0,01 disebut sangat nyata atau highly significant dan diberi notasi bintang dua atau ^**). Sebaliknya bila nilai p>0,05 dikatakan tidak nyata (non-significant) secara statistika dan diberi notasi bukan bintang melainkan ^ns). Lalu, apakah sebenarnya yang dimaksud dengan “nyata secara statistik” tersebut dan mengapa menjadi begitu penting sampai-sampai penelitian harus dikatakan gagal bila hasil analisis datanya tidak menunjukkan hasil yang tidak “nyata”?

Istilah “nyata secara statistik” pertama kali digunakan oleh matematikawan Ronald A. Fisher pada awal abad ke 19 untuk mengetahui apakah perbedaan hasil tanaman terjadi karena intervensi tertentu, katakanlah pemupukan, atau semata-mata secara kebetulan saja. Pertama-tama dia mengasumsikan bahwa pemupukan tidak akan menimbulkan perbedaan hasil, dalam hal ini sebagai hipotesis tidak ada perbedaan atau hipotesis nol. Kemudian0dia menghitung nilai peluang yang dinamakannya P, yang menyatakan peluang terjadinya perbedaan hasil antara petak yang dipupuk dan petak yang dipupuk seandainya pemupukan sebenarnya tidak memberikan pengaruh (perbedaan secara kebetulan saja). Bila P £0,05 –berarti bahwa peluang terjadinya perbedaan secara kebetulan £5%–, perbedaan hasil yang terjadi dinyatakan “nyata secara statistik”. Bila P >0,05 maka berarti peluang terjadinya perbedaan secara kebetulan >5%, sehingga perbedaan hasil yang terjadi dinyatakan sebaliknya.

Masalah terjadi dalam mengartikan angka 0,05 ini. Banyak orang mengartikan secara keliru bahwa bila P£0,05 maka, sebagaimana ditulis dalam sebuah buku teks ilmiah terkemuka, “…it is 95 percent certain that the observed difference between groups, or sets of samples, is real and could not have arisen by chance” (...95 persen pasti bahwa perbedaan yang diamati terjadi antar kelompok, atau antar gugus sampel, adalah benar dan tidak mungkin terjadi hanya secara kebetulan). Padahal sesungguhnya tidaklah demikian, melainkan, sebagaimana dengan tegas dinyatakan oleh biostastikawan Steven Goodman, “The P value is calculated under the assumption that the null hypothesis is true” (Nilai P dihitung dengan asumsi bahwa hipotesis nol adalah benar) ... sehingga “...It therefore cannot simultaneously be a probability that the null hypothesis is false” (Oleh karena itu tidak dapat sekaligus berarti bahwa hipotesis nol adalah salah). Kalau kita bisa sedikit saja berpikir jernih, seharusnyalah tidak mungkin seseorang yang merasa lapar juga sekaligus merasa kenyang pada satu waktu yang sama.

Tetapi mengartikan nilai P secara salah sebagaimana yang ditulis dalam buku ilmiah terkemuka tersebut itulah yang mendorong banyak orang mengartikan bahwa kalau begitu, kalau P>0,05, maka penelitian harus dikatakan gagal. Karena dengan penalaran sebagaimana yang dimaksud dalam buku terkemuka itu berarti bahwa bila P>0,05 maka perbedaan yang diamati terjadi antar kelompok, atau antar gugus sampel, terjasi 95% semata-mata karena kebetulan. Tetapi bukan hanya itu saja, banyak pula orang yang mengartikan “nyata secara statistik” seakan-akan berarti nyata sebagaimana dalam pengertian bahasa biasa. Padahal sejatinya, “nyata secara statistik” haruslah diartikan sebatas konteks hipotesis nol dan tidak boleh lebih daripada itu. Nyata secara statistik hanyalah berarti bahwa, dalam keadaan yang seharusnya tidak ada perbedaan, peluang terjadinya perbedaan £0,05. Kata “nyata” dalam pengertian bahasa biasa bermakna lebih dari itu, sehingga tidak nyata secara statistik tidak sama artinya tidak berarti apa-apa dalam pengertian makna nyata dalam bahasa biasa.

Lagipula, dalam ilmu, seharusnyalah statistika ditempatkan sebagai instrumen pengambilan keputusan, bukan justeru dijadikan keputusan itu sendiri. Menyatakan bahwa penelitian;gagal bila hasilnya tidak menunjukkan perbedaan nyata merupakan cara berpikir yang menempatkan statistika sebagai keputusan, bukan lagi sekedar sebagai instrumen pengambilan keputusan. Tentu saja, sebagai instrumen masih banyak instrumen lain selain statistika. Penelitian kulitatif contohnya, tentu tidak akan memberikan hasil optimal seandainya datanya dianalisis dengan menggunakan statistika sebagai instrumen. Pengambilan keputusan dalam penelitian kualitatif menggunakan instrumen lain untuk membantu proses pengambilan keputusan secara benar. Bahkan dalam penelitian kuantitatif sekalipun, statistika seharusnya ditempatkan juga sebagai pilihan, bukan keharusan.

Hanya saja, bila sudah dipilih sebagai instrumen, sudah seharusnyalah orang yang memilih memahami betul instrumen yang dipilih. Bahwa statistika mempunyai banyak kelebihan tentu para peneliti kuantitatif sadar betul akan hal itu. Tetapi bukan berarti statistika juga tidak mempunyai kekurangan. Dan kekurangan ini akan menyesatkan bila statistika digunakan sebagai instrumen penelitian oleh orang-orang yang tidak memahami betul statistika. Jangankan konsep yang serumit P, bahkan konsep diskret dan kontinyu saja masih banyak orang yang tidak mengerti sehingga menurut mereka, 3,575 ekor ulat berbeda nyata dengan 3,219 ekor. Analisis statistika memang memungkinkan kedua besaran ini berbeda nyata, tetapi kita seharusnya tidak boleh lupa bahwa dalam dunia nyata tidak ada larva di belakang koma yang masih mempunyai nyawa sehingga valid untuk disebut sebagai entitas biologi. Atau bahkan banyak orang terbiasa mengenakan operasi aljabar terhadap skor, padahal satu mangkok bakso tidak enak yang skornya 2, bila ditambah dengan satu mangkok bakso yang sama, seharusnya tidak mungkin menghasilkan dua mangkok bakso berskor 4 yang seharusnya merupakan bakso yang enak.

Kembali pada pertanyaan semula, apakah penelitian harus dikatakan gagal bila hasilnya tidak berbeda nyata? Fisher menggunakan patokan angka 0,05 hanya secara arbitrer (begitu saja) dengan menggunakan patokan keragaman yang ada antar tanaman dalam merespon suatu intervensi. Bagaimana bila yang diteliti bukan tanaman, apakah juga harus digunakan taraf nyata (level of significance) yang sama? Pertanyaan ini masih menjadi bahan perdebatan sebagaimana yang terjadi di kalangan penelitian medis sebagaimana dikemukakan oleh Tom Siegfried dalam artikelnya yang berjudul Odds Are, It's Wrong. Lebih dari itu, sebuah temuan, apapakah bentuknya nyata atau tidak nyata, seharusnya tetap dihargai sebagai temuan sehingga tidak seharusnya sebuah penelitian dikatakan gagal hanya karena analisis statistika tidak menunjukkan ada hasil yang nyata. Penelitian yang tidak menunjukkan hasil yang nyata secara statistika tidak akan menimbulkan konsekuensi yang seberbahaya sebagaimana yang dapat terjadi bila penelitian diharuskan memberikan hasil yang harus nyata secara statistika. Sebagaimana yang dikemukakan oleh Pak Budi, karena merasa diharuskan memberikan hasil yang nyata secara statistika itulah maka peneliti ramai-ramai memesan kepada tukang analisis data supaya hasil penelitiannya dibuat menjadi nyata. Entah berapa banyak penelitian yang sudah menggunakan jasa tukang analisis data dengan pesanan seperti ini. Entah berapa sarjana, berapa magister, dan berapa doktor yang sudah menyandang gelar yang melalui pesanan seperti ini.

Posted in: Hasil dan Pembahasan