About Cisya Lab

Building AI from Curiosity

"Learning to build your own AI doesn't mean you have to join the race to burn billions of parameters on corporate GPUs 🔥"

Cisya Lab adalah ruang eksperimen dan dokumentasi belajar untuk memahami bagaimana sebuah model bahasa (Small Language Model / SLM) dibangun dari nol. Fokus utama platform ini bukan mengejar model AI terbesar, melainkan memahami proses belajar, mencoba, gagal, melakukan debugging, dan mengeksplorasi logika di dalam "kotak hitam" AI.

Alur Eksperimen (cisya_story.log):

Dataset Prep: Menyiapkan teks lokal yang bersih.
Tokenizer: Membangun pemetaan vocabulary dari nol.
Initialization: Inisialisasi arsitektur Small Language Model.
Local Training: Menjalankan proses pre-training di perangkat keras lokal (home hardware) hingga menangani problem seperti output repeating.

Filosofi & Pelajaran Utama (What We Learned):

Dataset Matters: Kualitas dataset yang bersih dan konsisten berpengaruh lebih signifikan dibanding sekadar memperbesar jumlah data.
Small Doesn't Mean Simple: Model berukuran kecil tetap mampu mempelajari pola bahasa yang kompleks dengan konfigurasi yang tepat.
Character Emerges Faster: Gaya bahasa dan kepribadian unik lebih cepat terbentuk pada model berukuran kecil.
Strong Foundations Matter: Tokenizer yang tepat dan fondasi dataset yang rapi menentukan arah pembelajaran awal model.

Maintained by Firman Agiansyah (@agieansyah) — Sukabumi, Indonesia. Built small, learned deeply.