Pawang AI
← Self-Consistency & Verifikasi

Lesson 3 dari 4

75%

Self-Consistency

Setelah lesson ini, kamu bisa menerapkan cara ngecek jawaban dengan nanya ulang beberapa kali

6 menit baca

Kamu udah nyuruh AI mikir bertahap. Langkahnya keliatan, jawabannya masuk akal. Tapi buat hal yang penting, satu jawaban yang masuk akal tetap belum cukup — karena jawaban yang salah juga selalu kedengeran masuk akal.

Ada cara sederhana yang jarang dipakai orang: tanya hal yang sama beberapa kali, di chat yang terpisah, terus bandingin.

Ini kayak nanya arah ke tiga orang di tempat asing. Kalau ketiganya nunjuk arah yang sama, kamu cukup yakin. Kalau ketiganya beda, itu justru informasi berharga — berarti pertanyaannya nggak sesederhana yang kamu kira.

Dua kartu bersebelahan berlatar gelap, judulnya soal gimana kamu yakin sama respons AI. Kartu Satu Kueri: cuma ngasih satu jawaban yang mungkin kedengeran masuk akal tapi bisa saja salah. Kartu Tiga Kueri: nyoba pertanyaan yang sama di tiga sesi berbeda, keyakinannya naik lewat jawaban berulang yang ngarah ke makna yang sama.

Nanya sekali cuma ngasih satu tebakan. Nanya tiga kali di chat terpisah bikin kamu bisa lihat mana yang stabil.

Jawaban yang muncul berulang lebih mungkin bener

Istilahnya self-consistency. Karena ada unsur acak di tiap jawaban — persis yang dibahas di kelas pertama — jawaban yang tetap muncul walau diulang itu lebih mungkin datang dari penalaran yang benar, bukan kebetulan.

Syaratnya satu: harus di chat terpisah. Kalau kamu nanya ulang di chat yang sama, dia lihat jawaban pertamanya dan cenderung mempertahankan itu.

Contoh

Tanya soal hitungan yang sama di 3 chat baru. Kalau 3-3nya ngasih angka sama, kemungkinan besar bener.

Kapan dipakai: Hasil yang bakal kamu pertanggungjawabkan: tugas dinilai, keputusan, angka.

Jawaban yang beda-beda itu peringatan, bukan gangguan

Ini bagian yang paling sering disalahartikan. Kalau jawabannya beda-beda, godaannya adalah milih yang paling cocok sama harapan kamu. Itu justru cara paling cepat buat salah dengan yakin.

Jawaban yang goyang berarti satu dari dua hal: soalnya ambigu, atau bahannya kurang. Dua-duanya harus kamu benerin dulu, bukan disiasati dengan milih.

Contoh

Kalau 3 percobaan ngasih 3 angka berbeda, jangan pilih yang paling kamu suka.

Kapan dipakai: Waktu hasil percobaanmu nggak seragam.

Tiga kali cukup buat kebanyakan hal

Nggak perlu sepuluh kali. Tiga percobaan udah cukup buat ngebedain jawaban yang stabil dari yang goyang, dan biayanya cuma beberapa menit.

Pakai buat hal yang penting aja. Buat ngerapiin paragraf, ini berlebihan.

Contoh

Tiga chat terpisah, pertanyaan sama persis, bandingin hasilnya.

Kapan dipakai: Sebagai kebiasaan buat tugas yang dinilai.

Contoh utuh

Ngecek konsistensi jawaban

  1. Buka 3 chat baru yang benar-benar terpisahwajib terpisah, biar nggak lihat jawaban sebelumnya
  2. Kirim pertanyaan yang sama persis ke ketiganyajangan diubah sedikit pun
  3. Sertakan: Jelasin langkahnya dulu, baru jawaban akhirdari kelas Mastering, biar prosesnya bisa dibanding
  4. Bandingin jawaban akhirnyasama semua berarti stabil
  5. Kalau beda, bandingin langkahnya, cari di langkah mana mereka mulai pisahitu titik ambigunya

Baris terakhir itu yang paling berguna. Waktu tiga jawaban mulai berpisah di langkah tertentu, langkah itu biasanya bagian yang instruksinya kurang jelas.

Diagram alur berlatar gelap, judulnya jawaban yang berbeda mengindikasikan kesalahan pada instruksi. Langkah pertama dan kedua, ketiga jawaban masih ngikutin instruksi yang sama. Di langkah ketiga alurnya bercabang jadi jawaban A, B, dan C, dan di titik itu instruksinya jadi kurang jelas.

Titik jawaban mulai berpisah itu bukan gangguan. Justru di situ letak bagian yang paling rawan salah.

Giliran kamu

  1. 1 Susun prompt
  2. 2 Jalanin
  3. 3 Minta masukan

Susun, Jalanin, catat JAWABAN-nya. Terus tekan Reset (itu sama kayak buka chat baru), susun lagi, Jalanin. Ulangi sekali lagi. Tiga kali sama? Kalau beda, cari langkah mana yang mulai pisah.

Soal: Toko kasih diskon 20%, terus diskon 10% lagi dari harga setelah diskon. Total potongannya berapa persen?Tulis jawaban akhirnya di baris terakhir,

Pilihan kata

3 tempat kosong

Jangan ketik data pribadi, data kantor, atau nomor rahasia di sini. Sensor dulu, atau pakai contoh. Kenapa?

Yang sering keliru

  • Nanya ulang di chat yang sama

    Penyebabnya: Dia lihat jawaban pertamanya dan cenderung mempertahankan

    Perbaikannya: Selalu pakai chat baru yang terpisah

  • Milih jawaban yang paling cocok sama harapan sendiri

    Penyebabnya: Itu cara paling cepat buat salah dengan yakin

    Perbaikannya: Kalau jawabannya goyang, benerin pertanyaan atau bahannya dulu

  • Dipakai buat semua hal sampai kerja jadi lambat

    Penyebabnya: Ngira makin banyak pengecekan makin bagus

    Perbaikannya: Pakai buat yang penting aja: tugas dinilai, angka, keputusan

Cek sendiri

Jawab di kepala dulu, baru buka jawabannya. Nggak ada nilai, nggak ada penalti.

  • Kenapa pengecekan harus di chat yang terpisah?

  • Apa artinya kalau tiga percobaan ngasih tiga jawaban berbeda?

  • Dari kelas pertama: kenapa jawaban bisa beda tiap diulang?

Rangkuman

  • Tanya hal yang sama di 3 chat terpisah, bandingin hasilnya.
  • Jawaban yang goyang berarti soal ambigu atau bahan kurang, bukan bahan pilihan.
  • Pakai buat hal penting aja, bukan buat semua tugas.