Intinya Dulu Sebelum Baca Panjang-Panjang

Gua udah beberapa bulan ini setup Ollama di Mac Mini M4, nyoba berbagai model open-weight buat daily coding. Hasilnya? Local model belum bisa fully gantiin Claude atau GPT buat task kompleks, tapi udah jauh lebih berguna dari yang gua kira. Buat task kecil kayak nulis test, refactor fungsi sederhana, atau generate boilerplate — local model udah setara Claude Haiku. Dan bonus terbesarnya: data lu nggak keluar dari device. Buat kode proprietary atau side project yang lu pengen jaga privasinya, ini game-changer.

Artikel ini isinya pengalaman nyata gua + rangkuman diskusi 325 komentar developer di Hacker News yang lagi pada nyoba hal yang sama. Nggak ada klaim "local AI is the future." Cuma catatan jujur: mana yang udah siap, mana yang masih perlu cloud.

Kenapa Gua Mulai Nyobain Local Model

Gua terbiasa kerja dengan Claude (via Hermes Agent) dan kadang GPT. Tapi makin ke sini, makin banyak kode yang gua tulis sifatnya proprietary — entah project klien, entah side project yang gua niatin jadi produk. Setiap kali prompt Claude dengan kode production, ada suara kecil di kepala: "lo barusan upload IP ke cloud orang lain."

Belum lagi soal cost. Langganan AI sekarang udah kayak subscription creep: Claude $20, ChatGPT $20, GitHub Copilot $10, belum tools lain. Bukan masalah nominal doang, tapi psikologis — rasanya makin bergantung.

Awal tahun ini gua beli Mac Mini M4 sebagai alat tembur buat kerja. Iseng-install Ollama, download beberapa model open-weight, dan mulai eksperimen: kalau gua hidup cuma pakai local model buat ngoding, seberapa jauh gua bisa?

Model Apa yang Gua Coba

Spesifikasi Mac Mini M4 gua: RAM 16GB, GPU Apple Silicon. Artinya gua nggak bisa jalanin model gede kayak Qwen 3.6 27B atau DeepSeek V4 Flash dengan speed acceptable. Ini batasan penting: setup gua low-end dibanding standar developer yang mulai pakai local model.

Model yang gua coba (via Ollama):

  • Qwen 3 8B: Buat daily driver. Paling seimbang antara kualitas dan kecepatan di hardware gua.
  • DeepSeek Coder V2 Lite (16B): Buat task coding yang lebih spesifik. Lebih lambat, tapi reasoning-nya lebih bagus.
  • Llama 4 8B: Cadangan. Kurang konsisten buat coding dibanding Qwen.
  • Gemma 3 12B: Paling cepat di antara yang 12B+, tapi sering terlalu verbose.
  • Phi-4 Mini (3.8B): Buat autocomplete dan task kecil. Cepat banget, kualitas lumayan.

Sementara itu, di diskusi HN (655 poin, 325 komentar), developer dengan hardware lebih gede pada nyoba model yang jauh lebih kuat:

  • Qwen 3.6 27B: "About equal to Claude Haiku 4.5, maybe Sonnet depending on task." Ini klaim paling bold dari thread tersebut. Butuh >80GB VRAM.
  • DeepSeek V4 Flash: 160 tok/s di 2x RTX Pro 6000. Buat agentic coding, beberapa user bilang ini yang paling reliable.
  • Gemma 4 on Apple M4: Tok/s lebih rendah dari cloud, tapi "good enough" buat task isolated.
  • GLM 4.7 Flash: Disebut terbaik untuk agentic coding di antara local models yang bisa jalan di hardware consumer.

Intinya: kalau hardware lu kuat, local model mulai serius mendekati cloud frontier. Kalau hardware lu pas-pasan (kayak gua), lu harus lebih selektif soal task apa yang lu delegasikan ke local model.

Mana yang Berhasil dan Mana yang Masih Gagal

Yang Berhasil (Bisa Diandelin)

  • Generate unit test: Ini use case paling solid. Kasih fungsi + expected behavior, local model bisa generate test yang lumayan akurat. Qwen 3 8B bahkan sering langsung bisa pakai.
  • Refactor sederhana: "Pisahin fungsi ini jadi dua, yang satu handle validation, satunya handle transformation." Berhasil. Terus terang lebih cepat daripada copas ke Claude.
  • Generate boilerplate: CRUD endpoints, service factory pattern, component stub. Phi-4 Mini cukup banget buat ini.
  • Debugging targeted: "Ini error-nya TypeError: X is not iterable, kasih tau baris mana yang salah." Lumayan akurat untuk error yang jelas.
  • Explain code: "Jelasin fungsi ini dalam bahasa Indonesia." Berguna banget buat dokumentasi internal.

Yang Masih Gagal (Mending Pakai Cloud)

  • Arsitektur kompleks: "Gimana cara implementasi multi-tenant di Nuxt 4 dengan D1?" Local model cenderung kasih jawaban generik, kadang malah nyampur konsep dari framework beda.
  • Debugging subtle bug: Bug yang muncul dari interaksi 3-4 layer kode — local model sering miss root cause. Claude masih jauh lebih jago.
  • Refactor dengan constraint rumit: "Refactor sambil maintain backward compatibility dengan API v1 yang masih dipakai 200 client." Local model suka kelewat batasan.
  • Context besar: Kalau perlu dump 5 file + error stack + riwayat percakapan, Qwen 3 8B mulai halusinasi. Context window local models memang masih kalah.
  • Tool calling / agentic workflow: Local models bisa function calling, tapi reliability-nya masih jauh di bawah Claude atau GPT-5. Buat agent yang harus bikin keputusan multi-step, local model belum siap.

Pola Hybrid yang Sekarang Gua Pakai

Setelah eksperimen beberapa bulan, gua landing di pola ini:

  1. Task kecil + privasi sensitif: Local model (Qwen 3 8B atau DeepSeek Coder V2 Lite). Kode tetap di device, nggak perlu mikir dua kali.
  2. Task menengah + butuh reasoning: Masih Claude (via Hermes Agent). Lebih mahal tapi akurasi lebih tinggi.
  3. Task berat + arsitektur: Claude dulu buat draft, local model buat refinement kecil. Jadi cloud model dipakai buat yang strategic, local model buat yang taktis.

Pola ini juga muncul konsisten di diskusi HN. Banyak developer yang landing di hybrid approach — bukan "pindah total," tapi "pindah sebagian." Satu user HN nulis: "It was a good feeling I could stay offline." Dan gua relate banget. Ada kepuasan psikologis ketika lu jalanin model di device sendiri, tanpa koneksi internet, tanpa mikir "siapa yang baca prompt gua?"

Kenapa Ini Penting Buat Developer Indonesia

Gua ngomongin local model bukan karena benci cloud. Cloud AI tools udah jelas powerful. Tapi ada beberapa alasan kenapa developer Indonesia perlu mulai aware:

1. Biaya langganan dalam rupiah nggak murah. $40/bulan buat Claude + GPT itu sekitar Rp650 ribu. Untuk developer yang baru mulai atau freelance dengan klien lokal, ini lumayan signifikan. Local model gratis setelah investasi hardware awal.

2. Privasi kode proprietary. Kalau lu ngerjain project klien enterprise atau startup dengan kode sensitif, ngirim kode ke API pihak ketiga itu nggak selalu aman secara kontrak. Local model kasih alternatif.

3. Kemandirian internet. Internet Indonesia nggak selalu stabil. Local model tetap jalan bahkan saat koneksi ngadat. Plus, nggak ada rate limit — lu bisa prompt ribuan kali tanpa mikir "jangan-jangan nanti kena throttle."

4. Investasi skill jangka panjang. Tahu cara setup dan optimasi local model adalah skill yang bakal makin berharga. Seperti developer yang duluan belajar Docker 10 tahun lalu — sekarang jadi default.

Mulai dari Mana

Kalau lu tertarik nyoba, ini langkah praktis yang gua saranin:

  1. Install Ollama. brew install ollama (macOS) atau download dari ollama.com. Dalam 5 menit lu udah bisa jalanin model pertama.
  2. Mulai dari model kecil. ollama run qwen3:8b atau ollama run deepseek-coder-v2:16b. Jangan langsung download model 70B — uji dulu mana yang cocok sama hardware lu.
  3. Coba task yang jelas. Jangan pertama kali nyoba langsung suruh bikin whole feature. Mulai dari unit test, refactor kecil, atau explain code.
  4. Pantau resource. Jalankan htop atau ollama ps buat lihat pemakaian RAM dan GPU. Model yang kepaksa jalan di CPU bakal lambat banget.
  5. Bandingkan dengan cloud. Prompt yang sama ke local model dan cloud model. Catat mana yang lebih akurat, mana yang lebih cepat. Dengan begitu lu dapat intuisi kapan harus switch.

Apa yang Bakal Terjadi Setahun ke Depan

Kalau lihat trajectory-nya, gua yakin local models bakal makin kompetitif karena tiga hal:

  • Model open-weight makin efisien. Tren dari Qwen 2 ke Qwen 3.6 nunjukin peningkatan signifikan dalam efisiensi parameter. Model yang dulunya butuh 70B sekarang bisa dikompres ke 30B dengan kualitas mirip.
  • Hardware makin terjangkau. Apple Silicon Mac dengan unified memory makin umum. M4 dengan 32GB RAM bisa jalanin model 20B+ dengan speed lumayan.
  • Tooling makin mature. Ollama, llama.cpp, LM Studio, Open WebUI — ekosistem local model sekarang jauh lebih ramah dari setahun lalu. Dulu setup llama.cpp aja bisa setengah hari. Sekarang satu command.

Tapi gua juga realistis: cloud models nggak akan mati. Frontier models kayak Claude dan GPT akan selalu 1-2 langkah di depan. Yang berubah adalah: untuk berapa persen dari workflow lu yang beneran butuh frontier?

Kalau lu kayak gua, mungkin 70% task harian lu nggak butuh model secanggih Sonnet. Dan untuk 70% itu, local model udah cukup.

Penutup: Coba Aja Dulu

Gua nulis ini bukan buat ngajak lu uninstall Claude atau cancel subscription ChatGPT. Tapi buat ngajak lu eksperimen. Install Ollama. Download Qwen 3 8B. Coba pake buat satu task hari ini. Rasain sendiri gimana rasanya prompt tanpa mikir "siapa yang baca kode gua?"

Karena intinya, pilihan antara local dan cloud bukan soal mana yang lebih canggih. Tapi mana yang lu kontrol.

Dan kontrol — buat developer — selalu worth dipertimbangkan.

Referensi / Bacaan Lanjut

Tags:
#AI#Developer Tools#Local-First#Software Development