ML Lab — Simulasi Pemodelan Machine Learning

Algoritma

Bagaimana cara kerjanya?

Skenario Use Case

Data

Jumlah Data 150

Noise 0.15

Porsi Train 80%

Data Kustom

📂 Impor CSV

Klik tombol pensil lalu klik kanvas untuk menambah titik. CSV: kolom x,y,label (klasifikasi) atau x,y (regresi).

Hyperparameter

Bobot Jaringan

Confusion Matrix (Test)

Kurva ROC (Test)

Precision–Recall vs Threshold

Overfitting & Underfitting

Model Regresi Polinomial di-fit ke data bernoise. Geser derajat polinomial (kompleksitas model) dan amati kapan model mulai “menghafal” noise.

Data

Jumlah Data 40

Noise 0.25

Kompleksitas Model

Derajat Polinomial 3

Regularisasi L2 (λ) 0

λ memakai skala log: geser ke kanan untuk penalti bobot lebih kuat. Regularisasi adalah salah satu obat overfitting.

Kurva merah tipis = model yang sama dilatih pada 20 sampel data berbeda. Makin berpencar = variance makin tinggi.

Diagnosis

Kurva Fit — Train Test

Kurva-U: Error vs Kompleksitas — Train Test

Dekomposisi Bias–Variance (skala log) — Bias² Variance Total (Bias²+Var+Noise)

Status

Cheat Sheet

Bias (kesalahan sistematis)Model terlalu kaku untuk menangkap pola asli — meleset ke arah yang sama di sampel data mana pun. Bias tinggi ⇒ underfitting.

Variance (kepekaan pada sampel)Model berubah drastis jika data latihnya diganti — ia menghafal kebetulan, bukan pola. Variance tinggi ⇒ overfitting.

Error Test ≈ Bias² + Variance + NoiseNoise adalah batas bawah yang tak bisa ditembus model apa pun. Menambah kompleksitas menurunkan bias tapi menaikkan variance — carilah titik seimbangnya.

UnderfittingError train & test sama-sama tinggi. Didominasi bias.Obat: model lebih kompleks, fitur baru, latih lebih lama.

OverfittingError train kecil, error test tinggi (gap besar). Didominasi variance.Obat: regularisasi, tambah data, kurangi kompleksitas, early stopping, cross-validation.

Mengapa Cross-Validation?

Satu kali split train/test bisa beruntung atau sial — skornya berubah-ubah. K-Fold CV memakai semua data bergiliran sebagai validasi, sehingga estimasi performa lebih stabil dan jujur.

Pengaturan

Jumlah Fold (K) 5

Jumlah Data 200

Noise Data 0.25

Bandingkan: sebaran skor holdout tunggal (titik abu-abu) vs rata-rata K-Fold (garis biru dengan pita ±1 std). Tombol Adu 3 Metode menjalankan Holdout vs K-Fold vs LOOCV pada 10 dataset segar — lengkap dengan waktu komputasi nyata.

Insight

Skema K-Fold — Train Validasi

Akurasi per Fold

Stabilitas: Holdout Tunggal vs K-Fold CV

⚖️ Adu Metode: Holdout vs K-Fold vs LOOCV — model & data sama, 10 dataset segar

Studi Kasus

Data Kustom

📂 Upload CSV untuk Disimulasikan

Baris pertama = nama kolom, semua kolom angka, kolom terakhir = target. Target dengan 2 nilai unik → klasifikasi; angka kontinu → regresi. Maksimal 6 fitur paling berkorelasi yang dipakai.

Model

Pengaturan model (bisa diedit)

Input yang Ditebak

Kecepatan 1×

Visualisasi

Log Penjelasan — Langkah demi Langkah

Klik ▶ Putar Animasi atau Maju ⏭ untuk mulai.

Konsep LLM

Teks Input

Teks → Token → Angka (beginilah LLM “membaca”)

Apa yang Sedang Terjadi?

Intinya

LLM = prediksi token berikutnyaSeluruh kepintaran ChatGPT dkk. berakar pada satu tugas: menebak token berikutnya, diulang miliaran kali pada triliunan token teks.

Token ≠ kataTeks dipecah jadi sub-kata. Biaya API, batas konteks, dan “kenapa AI salah hitung huruf” semua berakar di sini.

Embedding = makna jadi arahKata dipetakan ke vektor; kedekatan & arah menyimpan makna — dasar dari semantic search & RAG.

Attention = konteksTiap token menimbang token lain untuk membangun maknanya — inilah “T” (Transformer) dalam GPT.

HalusinasiModel meneruskan pola yang paling mungkin — bukan memeriksa fakta. Terlihat jelas saat Anda naikkan temperature.

KV Cache & context windowCache membuat generate cepat (O(n) per token, bukan O(n²)) tapi makan memori GPU. Token di luar window benar-benar “hilang” bagi model.

TTFT vs token/detikPrompt panjang → TTFT lambat (prefill). Model besar → streaming lambat tapi jawaban lebih dalam. Pilih ukuran model sesuai use case, bukan sekadar “yang terbesar”.

Peramalan Deret Waktu

Data bulanan sintetis (mis. pendapatan firma) = tren + musiman + noise. Atur komposisinya, bandingkan model peramalan, dan lihat mengapa CV acak dilarang di data waktu.

Komposisi Data

Jumlah Bulan 72

Tren per Bulan 1.5

Kekuatan Musiman 12

Noise 5

Efek Promo (variabel X)

Bulan promo (▲) melonjakkan pendapatan. Jadwalnya diketahui di muka — tapi hanya SARIMAX yang memanfaatkannya.

Parameter Holt-Winters

α — level 0.35

β — tren 0.10

γ — musiman 0.30

Besar = cepat beradaptasi tapi gampang terseret noise; kecil = kalem tapi telat menangkap perubahan.

Validasi Deret Waktu

Walk-forward: latih di masa lalu, uji di masa depan, jendela terus maju. CV acak mencampur masa depan ke data latih — skornya bohong.

Insight

Model musiman-naive sering jadi baseline yang sulit dikalahkan — selalu bandingkan model canggih dengan baseline bodoh!

Data & Peramalan 10 Model — Aktual · ▲ bulan promo · klik baris tabel untuk menyorot model

Dekomposisi: Data = Tren + Musiman + Residu

Walk-Forward Validation — Latih (masa lalu) Uji (masa depan)

Hasil di Data Test

Cheat Sheet

Baseline dulu!Naive (nilai terakhir) & Seasonal-Naive (nilai 12 bulan lalu) wajib jadi pembanding. Model yang kalah dari baseline = buang.

Keluarga SmoothingSES → Holt → Holt-Winters: satu, dua, lalu tiga “memori” (level, tren, musim) yang diperbarui tiap data baru. Intuitif & tangguh.

Keluarga ARIMABekerja pada perubahan (differencing) lalu meramu lag (AR) + koreksi error (MA). SARIMA menambah lag musiman; SARIMAX menambah variabel eksternal berjadwal.

DekomposisiPisahkan tren (arah jangka panjang), musiman (pola berulang), dan residu (sisa acak) sebelum memodelkan.

Jangan acak urutan!Validasi harus walk-forward: model tidak boleh “mengintip masa depan”. CV acak menghasilkan skor optimis palsu.

Permutation Importance — fitur mana yang paling menentukan?

Partial Dependence & What-If — Rata-rata semua pelanggan (PD) Pelanggan Anda (ICE)

Jebakan Praktik

Skenario Kebocoran

Insight

Skor Validasi yang Terlalu Indah

Apa yang Sedang Terjadi?

Checklist Anti-Jebakan

💧 Split dulu, baru segalanyaScaling, oversampling, imputasi, seleksi fitur — semua di-fit HANYA pada data latih. Test set harus “belum lahir”.

💧 Fitur harus tersedia saat prediksiTanyakan untuk tiap fitur: “apakah nilai ini sudah ada SEBELUM keputusan dibuat?” Kalau tidak → target leakage.

📏 Model jarak wajib scalingKNN, SVM, K-Means, NN butuh standardisasi. Pohon & forest kebal — mereka membandingkan, bukan mengukur jarak.

📈 Baca learning curve duluGap besar train-test = tambah data membantu. Keduanya buruk & rapat = ganti model/fitur, data baru sia-sia.

🎯 Waspadai skor terlalu indahAkurasi 99% hampir selalu berarti leakage, duplikat, atau imbalance — bukan kejeniusan Anda.

🔀 Korelasi ≠ kausalitasSelalu tanya “apakah ada variabel ketiga (confounder)?” sebelum menyimpulkan arah tren.

Topik Lanjutan

Pengaturan

Jumlah Fitur Diuji 100

Target & SEMUA fitur di sini adalah noise acak murni — tidak ada satu pun sinyal asli. Tapi tunggu sampai lihat “temuannya”…

Insight

Memancing Signifikansi — p-value dari 100% noise murni

Apa yang Sedang Terjadi?

Cheat Sheet

🎲 Multiple comparisonsUji 100 hipotesis dengan p<0.05 → ~5 “temuan” palsu dijamin lolos. Makin banyak yang diuji, makin wajib koreksi.Obat: Bonferroni/FDR, validasi di holdout, pre-registrasi hipotesis.

📉 Data driftModel membusuk diam-diam karena dunia berubah — bukan karena kodenya rusak. Deploy bukan akhir proyek.Obat: pantau akurasi/PSI per periode, pasang ambang alarm, jadwalkan retrain.

⚖️ FairnessAkurasi tinggi ≠ adil. Bias data historis diwarisi (bahkan diperkuat) model. Ukur metrik per kelompok, bukan hanya agregat.Teorema ketidakmungkinan: demographic parity, equal opportunity, & kalibrasi tak bisa dipenuhi bersamaan — pilih sesuai konteks & regulasi.

🔧 Random > GridBiasanya hanya 1–2 hyperparameter yang benar-benar penting. Grid memboroskan budget menguji ulang nilai yang sama; random menjelajah lebih banyak nilai unik.Naik kelas: Bayesian optimization / Optuna — belajar dari evaluasi sebelumnya.

Proses Belajar

Pengaturan

Learning Rate 0.020

Coba LR kecil (0.003 — merayap), pas (0.02 — mulus), dan besar (0.07 — meledak melompati lembah!).

Status Belajar

Belajar = Menuruni Bukit Error — garis di kiri, "bola" di peta error kanan

Apa yang Sedang Terjadi?

Intinya

Belajar = memperkecil errorSemua ML sama di intinya: definisikan “seberapa salah” (loss), lalu cari parameter yang membuatnya sekecil mungkin.

⛰ Gradient descentTurun gunung dalam kabut: raba kemiringan di kaki (gradien), melangkah ke arah turun, ulangi. Learning rate = panjang langkah.

🌳 Pohon = serakahTak ada gradien — pohon mencoba semua pertanyaan dan memilih yang paling menjernihkan data SAAT INI. Cepat, tapi tak pernah menyesali pilihan.

🔄 Backprop = salahkan mundurTurunan berantai membagi “kesalahan” ke setiap bobot sesuai andilnya — lalu semua bobot digeser sedikit. GPT dilatih persis begini, triliunan kali.

Yang lain?K-Means (centroid berpindah) & Gradient Boosting (pohon menambal residual) bisa ditonton animasinya di tab 🎮 Playground.

Data

Distribusi Null & p-value — inilah arti p-value: luas ekor melewati statistik uji

Apa yang Sedang Terjadi?