Judul di atas saya pinjam dari Darrell Huff. Buku "Bagaimana Menipu Dengan Statistik",dia tulis 65 tahun lalu.

Banyak orang2 gelisah kemarin karena beberapa TV menyajikan Quick Count (QC) dengan hasil yang ditampilkan menonjol di tengah layar, dengan hurufbesar Jokowi 54%: Prabowo 44%, sedikit di atasnya data masuk sudah 70%.

Para ahli survei lalu dengan segala argumen menjelaskan bahwa dengan QC (quick count) ini maka sudah jelas Jokowi akan Presiden lagi.

Saya harus menjelaskan pada masyarakat di FB saya bahwa itu QC hanya 2000 sample TPS dari 810.000 TPS. Dalam dunia Big Data dan Internet of Things, apalagi Jokowi bilang sudah 4G di mana2,ya sabar sedikit. Jika sebuah partai seperti PKS yang militan dan punya saksi di daerah2, dalam 1 jam pasti bos mereka di Jakarta sudah punya data. Jadi QC sudah gak penting. Kecuali QC dilakukan oleh Bawaslu yang netral.

Survei vs. Sensus

Kasian rakyat kebanyakan yang gak faham apa itu survey dan apa itu sensus. Survey adalah meneliti pada representasi populasi. Representasi itu disebut sampel. Sedangkan sensus,meneliti semua populasi. Istilah saya kemarin "Real Count".

QC adalah survei.Berapa jumlah sample? Untuk jaman now sudah ada kalkulator survei yang menghitung jumlah sample otomatis terkait dengan Margin of Error dan Confidential Level atau tingkat kepercayaan.

Untuk populasi besar, di atas 100.000, sampel minimal 400 atau 440. QC rata2 sampelnya 2000. Di Amerika, untuk survei, rata2 sample mereka 600 saja.

Mengapa Survei Bisa Salah?

Kesalahan terbesar perusahan2 survei raksasa, seperti Pew Research, adalah ketika memprediksi pilpres Amerika. Saya sudah menulisnya dalam "survei abal2" (https://rmol.co/read/2019/01/30/376845/survei-abal-abal)

Berbagai lembaga survei besar bersama 7 universitas ternama USA plus Kanada mengevaluasi diri, mengapa mereka bisa salah?

Tapi yang paling mendasar bagi awam untuk dimengerti,ilmu matematika itu beda dengan ilmu statistik. Kalau mau pasti, itu ilmunya matematik. Dua tambah dua pasti empat. Sedang ilmu statistik adalah ilmu perkiraan. Ilmu probability. Meski kita yakin 95% hasilnya pada Margin of Error,misalnya 2,5%, maka 5% di luar keyakinan kita,bisa menyimpang.

Untuk sebuah negara, setiap periode 10 tahun, umumnya,mereka melakukan sensus penduduk. Diantara waktu itu bisa juga,misalnya, sensus pertanian. Karena mahal, diantara sensus ini dilakukan survei. Dengan sensus data yang ada pasti benar.

Bagaimana Menipu Dengan Statistik

Buku How to lie with statistics karangan Hurrell Druff tahun 1954 alias 65 tahun lalu bercerita tentang penggunaan statistik untuk mengelabui masyarakat. Misalnya,angka kemenangan Jokowi vs. Prabowo dalam porsentase dan dipampang besar di TV, itu bisa menghipnotis. Padahal itu hanya dari sample yang kecil saja,yang mungkin kurang difahami rakyat. Buku itu juga memuat teknik2 penggunaan grafik dan chart yang bisa memanipulasi mata, karena visualisasi seringkali menyembunyikan detail.

Buat yang sekolahnya tidak pernah berhubungan dengan survei, saya perlu memberitahu bahwa penipuan yang terbesar adalah memasukkan data yang tidak pernah diukur.

Karena sekolah saya dulu di ITB adalah teknik pengukuran bumi (Geodesy dan Geomatika) saya dan teman2 yang bandel suka malas ngukur pake Theodolit kalau sudah panas matahari. Kalau sudah 70% data dari seribuan titik ketinggian kami ukur, maka 30% lagi saya utak atik aja pake kalkulator (PB-100). Itu disebut ektrapolasi/intrapolasi. (Kelakuan2 salah seperti ini dapat bereffek buruk pada sengketa HAK HAK tanah. Lebih ngeri lagi, pernah masyarakat transmigrasi di lampung,pas sampe Lampung plot tanah yang diberikan di tengah sungai).

Jaman komputer canggih saat ini,manipulasi data dapat dilakukan lebih sophisticated lagi.

Setelah saya sekolah doktor ilmu sosial,bagaimana menipu hasil survei sosial?

Dalam ilmu non sosial, penipuan survei bisa dilakukan pada berbagai hal, seperti tadi di atas, menyisipkan data yang tidak di survei. Maupun teknik penyajian data dengan penonjolan (visualisasi) hal2 tertentu.

Sedangkan dalam ilmu sosial berbagai hal dapat dilakukan sebagai berikut:
1. Konsep. Survei sosial sangat terkait dengan konsep. Apa arti orang miskin?Apa arti pengangguran? Apa arti pemimpin yang sholeh? Jika motif politik dikesampingkan,konsep pengangguran,kemiskinan dan pemimpin Sholeh bisa didefinisikan secara netral. Tapi kalau sudah motif politik, definisi dapat diubah agar sesuai dengan hasil survei yang diinginkan.
2. Cipta kondisi.Kalau kita mau tahu rakyat puas dengan harga2 murah, misalnya Terong, disuatu wilayah tertentu, sebelum survei kita bisa mendrop terong dalam jumlah besar sehingga harga jatuh. Kemudian kita lakukan survei dengan pertanyaan: "menurut bapak apakah harga terong cukup terjangkau saat ini? "

3. Menggiring pertanyaan.Kita juga bisa menggiring pertanyaan dengan berbagai pertanyaan sebelumnya. jika pilpres dilakukan hari ini,bapak akan memilih X atau Y?Sebelum pertanyaan ini kita bisa men setting pertanyaan negative/positive tentang X atau Y, misalnya:apakah andapuas dengan harga terong saat ini?, berikutnya: Seberapa puas anda dengan harga harga terong selama presiden X?

4. Sampling. Survei kuantitatif bagian dari methodology penelitian kuantitatif. Bicara metodologi kuantitatif intinya membicarakan pembuktian hipotesis. Sedang survei kuantitatif, adalah metode mendapatkan data dengan metode pengambilan sampel secara random. Kalau survei Kualitatif, datanya tidak perlu random, bisa secara purposive, yakni berhenti ketika "jenuh".

Nah,dalam penarikan sample ini kita bisa melakukan manipulasi. Kita bisa menciptakan "distribusi tidak normal" pada sampel. Dari awal proporsi sampel sudah kita desain untuk lebih banyak yang menghasilkan sesuai survei atau Quick Count kita.

Banyak lagi cara-cara menipu dalam survei.Kalau tidak ada niat menipu,maka ukuran akurasi itu ada pada Validity and Reliability. Kalau anda mengukur darah di apotek check gula darah,hasilnya 300, padahal belum ada gejala sebelumnya, maka kemungkinan alat ukur bermasalah, harus dikalibrasi ulang. Anda bisa mencari apotik lain.

Saya sudah ajarkan cara cara menipu dalam survei kuantitatif. Apakah anda mau melakukannya? Terserah. Yang pasti seorang direktur lembaga survei besar atau terbesar ketika makan sate dengan berbagai wartawan beberapa waktu lalu,ketika ditanya wartawan2 itu soal survei,dia bilang:"survei yang benar dan benar2 survei tanyanya jangan ke saya, tapi ke bang Ganda".

Ini dulu saya berbagi ilmu. Semoga bermanfaat. Salam (*)