Docs / Coding Stress Test

🧪 Coding Stress Test

Coding Stress Test menguji boundary criteria kode Anda dengan passage borderline (sengaja ambigu) untuk validasi apakah definition + inclusion/exclusion criteria sudah cukup tajam. Inspirasi negative case testing Patton (2002), tapi otomatis dengan AI.

Apa itu

AI generate atau pilih passage borderline, quote yang bisa diinterpretasi masuk ATAU keluar dari sebuah kode. Lalu AI mencoba meng-assign kode dengan reasoning eksplisit. Jika:

  • AI inconsistent (kadang assign, kadang tidak, dengan reasoning yang berubah-ubah) → boundary kode Anda tidak jelas.
  • AI consistent tapi salah (selalu assign padahal Anda tidak setuju) → exclusion criteria Anda kurang eksplisit.
  • AI consistent dan match Anda → boundary kode sudah baik. Lulus stress test.

Kapan pakai

  • Phase 2-3 Braun & Clarke (Generating Codes / Searching Themes), saat codebook awal sudah terbentuk.
  • Sebelum coding penuh corpus, testing codes dulu, hemat waktu revisi besar nanti.
  • Setelah Kappa rendah (lihat FAQ Kappa), stress test bantu identify kode mana yang ambiguous.
  • Sebelum sidang, bahan diskusi reliability di BAB III Metodologi atau saat tanya jawab.
  • Saat menemukan disagreement dengan co-coder atau supervisor, stress test sebagai mediator objektif.

Cara pakai

  1. Buka launcher Coding Stress Test (kategori Live Coding atau AI Quality).
  2. Pilih kode yang ingin dites (1-5 kode per sesi).
  3. Pilih mode:
    • AI-generated borderline: Sonnet 4 buat passage borderline berdasarkan definition Anda.
    • Sampled from corpus: AI cari passage borderline dari quote uncoded di corpus Anda.
  4. Klik Run Test. AI generate/pilih 10-15 passage per kode, lalu coding 2-3 kali (blind reruns).
  5. Review hasil per passage:
    • Konsisten + match Anda → Lulus.
    • Konsisten + tidak match → Cek definition / exclusion.
    • Inconsistent → Boundary lemah, perlu revise definition.
  6. Klik Apply Suggestion untuk update definition dengan saran AI, atau manual edit.

Output

  • Report per-code: konsistensi rate (0-100%), severity, contoh ambiguous passage.
  • Saran perbaikan definition / inclusion / exclusion (AI-generated, editable).
  • Track-record stress test untuk audit trail (lampiran sidang).
  • Auto-link ke Kappa rerun setelah revise codebook.

Caveat

  • AI bukan oracle. Inkonsistensi AI bisa karena AI bingung, bisa karena kode Anda ambigu. Investigasi manual tetap perlu.
  • Tidak menggantikan inter-coder reliability dengan manusia. Cohen Kappa antar peneliti masih gold standard. Stress test = early warning system.
  • Boundary trade-off: kode terlalu ketat → coverage rendah (banyak data terabaikan). Kode terlalu longgar → overlap antar kode. Stress test bantu tuning, bukan menjawab semua.
  • Biaya: ~1.5K-3K token per kode (Sonnet 4 multi-pass). 5 kode = ~7.5K-15K token (~Rp 1K-2K).
  • Reflexivity: hasil stress test kadang membuka bias peneliti yang tidak disadari. Dokumentasikan di memo reflexive.

Literatur

  • Patton, M. Q. (2002). Qualitative Research & Evaluation Methods (3rd ed.). SAGE, bab "Negative Case Analysis" (hal. 554-555).
  • Saldaña, J. (2021). The Coding Manual for Qualitative Researchers (4th ed.). SAGE, bab "Code-Recoding Iteration" dan "Boundary cases".
  • O'Connor, C., & Joffe, H. (2020). Intercoder reliability in qualitative research: Debates and practical guidelines. International Journal of Qualitative Methods, 19, 1–13.
  • MacQueen, K. M., McLellan, E., Kay, K., & Milstein, B. (1998). Codebook development for team-based qualitative analysis. CAM Journal, 10(2), 31–36.