Apa yang signifikan?

"Kajian menunjukkan belia di kampung lebih tinggi tahap keagamaan berbanding belia di bandar"

Apabila baca tajuk berita atau petikan yang seumpamanya, tarik nafas sejenak dan tunggu sebentar sebelum menelan 'fakta' yang diberi.

Apakah bukti ada perbezaan?

Jika kajian telah diterbitkan, maka kita boleh menentusahkan apa yang disampaikan dalam berita atau dalam mesej Whatsapp. Bukti perbezaan itu dalam bentuk kuantitatif atau kualitatif? Sejauhmana pula kualiti bukti yang diberikan?

Bagi yang dah belajar statistik tentu maklum bahawa perbezaan yang signifikan dilihat pada nilai kebarangkalian (p-value) statistik yang diuji (t, F, R, dll). Ada kalanya, kesignifikanan statistik itu bukanlah satu sandaran yang kukuh untuk mencanangkan 'fakta' tertentu ke seantero dunia.

https://www.jstor.org/stable/3512356?seq=5...

Jadual yang dipetik daripada kajian terbitan 2006 menunjukkan ada perbezaan bagi belia di bandar dan di luar bandar bagi aspek Islamic Worldview dan Religious Personality. Kalau dilihat p-value, memang ada perbezaan yang signifikan.

Tapi, jika kita melihat nilai purata kedua-dua kumpulan, didapati perbezaan yang dikatakan signifikan itu hanyalah perbezaan yang kecil: 4.15 bagi belia bandar dan 4.25 bagi belia luar bandar (bagi Islamic Worldview): beza skor hanya .1 (markah paling rendah=1, markah paling tinggi=5). Kalau ditukar kepada person, kita dapat 83% dan 85%. Apakah perbezaan ini cukup BESAR untuk diwar-warkan sebagai perbezaan yang perlu diambil kira untuk membuat keputusan berkaitan masalah praktikal (cth: menentukan bajet untuk pendidikan agama Islam; perlu lebihkan di bandar atau luar bandar).

Analisis kesan saiz (effect size) mendapat bahawa perbezaan itu dikategorikan di bawah kesan saiz yang kecil. Cohen's d, Glass's delta mahupun Hedges's d bernilai 0.2. Tidak terdapat effect size yang ketara.

(boleh semak kiraan kesan saiz di sini: https://www.socscistatistics.com/effectsize/default3.aspx)

Jadi, apa sikap anda jika ada jurujual suplemen yang mengatakan "kajian menunjukkan jus ini berkesan menurunkan kadar gula dalam badan"? Adakah anda perlu dengan segera mengeluarkan duit untuk membeli jus ajaib itu?

a. Apakah ujian klinikal yang telah dibuat? Menggunakan tikus makmal sahaja, atau pun ada ujian klinikal melibatkan manusia?

b. Sebesar mana perbezaan sebelum dan selepas penggunaan jus? Jikalau ada perbezaan yang signifikan secara statistik, adakah ia cukup besar? Adakah anda boleh menerima penurunan bacaan gula daripada 7.5 kepada 7.3 sebagai satu 'kejayaan'?

c. Adakah perbezaan itu diperhatikan dalam sampel yang heterogenous dan releven dengan psikodemografik anda sendiri? Maksudnya, jika kajian itu hanya melibatkan wanita, dan anda seorang lelaki, patutkah anda terus terima hasil kajian? Atau meminta bukti yang melibatkan sampel lelaki juga?

Sikap skeptikal terhadap kajian saintifik memang digalakkan. Kita tak sepatutnya terima bulat-bulat pendapat saintis tanpa melihat atau setidak-tidaknya meminta bukti yang jelas.

Jika kita pegang sikap ini, kekallah juga dengan pegangan itu dalam menghadapi orang yang mempromosikan rawatan alternatif. Jangan tolak vaksin sebab 'belum cukup bukti klinikal' tapi telan Ivermectin sebab 'Donald Trump pun ada makan'.