Local AI selama ini sering dibahas seolah-olah cuma ada dua pilihan: pakai API cloud, atau install Ollama di laptop. Padahal begitu workflow AI lu mulai serius, pertanyaannya berubah: hardware AI lu tersebar di mana, siapa yang mengatur routing, dan gimana sistem itu tetap bisa dipercaya?
Artikel ini ngebahas Mesh LLM, eksperimen Iroh untuk menjalankan distributed AI computing di atas jaringan peer-to-peer. Intinya, local AI berikutnya mungkin bukan cuma “satu model di satu mesin”, tapi kumpulan mesin yang bisa saling bantu lewat mesh. Buat developer dan builder, ini penting karena bottleneck AI bukan cuma model; ada latency, bandwidth, scheduling, security antar node, dan observability.
Apa itu Mesh LLM?
Mesh LLM adalah konsep menjalankan inference AI secara terdistribusi di beberapa mesin. Dalam tulisan Iroh, idenya adalah menggabungkan GPU dan memory yang sudah dimiliki beberapa perangkat, lalu mengeksposnya lewat API yang kompatibel dengan OpenAI. Jadi dari sisi aplikasi, lu tetap bisa memanggil endpoint seperti API biasa. Tapi di belakangnya, request bisa diarahkan ke peer lain, node lain, atau pool hardware yang berbeda.
Iroh sendiri memosisikan teknologinya sebagai jaringan yang “dial keys, not IPs”. Maksudnya, identitas node tidak bergantung penuh ke alamat IP yang bisa berubah, NAT, atau topologi jaringan yang ribet. Di konteks AI, pola ini menarik karena banyak builder punya hardware tersebar: laptop, mini PC, workstation, server rumah, atau mesin kantor. Semua itu sering idle sebagian waktu, tapi belum tentu gampang dijadikan satu layer compute yang rapi.
Kenapa ini menarik buat developer?
Karena local AI mulai keluar dari fase “coba-coba model di laptop”. Begitu AI dipakai buat workflow nyata, kebutuhan teknisnya naik. Lu butuh cara memilih node mana yang melayani request, gimana fallback kalau satu mesin mati, gimana memantau cost dan latency, dan gimana memastikan data sensitif tidak lompat ke node yang salah.
Di titik ini, local AI bukan cuma soal privacy. Local AI berubah jadi masalah infrastructure engineering.
- Cloud API enak buat mulai cepat, tapi dependency, harga, dan kebijakan provider bisa berubah.
- Single-node local AI ngasih kontrol lebih besar, tapi mentok di VRAM, RAM, dan thermal satu mesin.
- Mesh AI mencoba mengambil jalan tengah: kontrol hardware sendiri, tapi kapasitasnya bisa datang dari beberapa node.
Gua suka angle ini bukan karena mesh otomatis lebih baik dari cloud. Justru sebaliknya: mesh bikin kita jujur bahwa “punya hardware sendiri” tidak otomatis berarti workflow jadi simpel.
Masalah yang tidak bisa di-prompt away
Distributed inference kedengarannya keren sampai lu mulai tanya detail operasionalnya. Kalau request AI dibagi ke beberapa mesin, latency jaringan langsung jadi bagian dari kualitas user experience. Kalau model butuh banyak memory, lu harus paham apakah workload-nya benar-benar bisa dibagi, atau cuma dipindah dari satu bottleneck ke bottleneck lain.
Ada beberapa pertanyaan yang wajib muncul sebelum terlalu excited:
- Latency: apakah round trip antar node masih masuk akal buat chat, coding agent, atau batch job?
- Bandwidth: data apa yang dikirim antar peer, dan seberapa besar ukurannya?
- Scheduling: siapa yang memutuskan request masuk ke node mana?
- Failure mode: kalau satu peer mati di tengah request, sistem retry ke mana?
- Security: node mana yang boleh ikut mesh, dan data sensitif boleh lewat ke siapa?
- Observability: lu bisa lihat token, durasi, error, dan node yang dipakai, atau cuma percaya sistemnya jalan?
Ini bagian yang sering hilang dari obrolan AI: infrastructure tidak tunduk ke prompt. Latency tetap latency. Network tetap network. Failure tetap failure. AI agent yang pintar tetap butuh jalur kerja yang bisa diaudit.
Bedain tiga level local AI
Biar lebih kebayang, gua membagi local AI jadi tiga level praktis.
1. Local single machine
Ini fase paling umum: lu jalanin model di laptop, Mac Mini, atau PC sendiri. Cocok buat eksperimen, offline drafting, coding ringan, transkrip, embedding, dan task yang tidak butuh latency super stabil. Batasnya jelas: kapasitas hardware satu mesin.
2. Local server pribadi
Di fase ini, lu punya satu server yang lebih serius. Bisa di rumah, kantor, atau VPS dengan GPU. Aplikasi lain tinggal memanggil server itu. Ini lebih rapi daripada tiap laptop jalan sendiri, tapi tetap punya single point of failure dan kapasitas yang terpusat.
3. Mesh atau distributed local AI
Ini fase yang mulai dieksplorasi Mesh LLM: beberapa node saling terhubung dan bisa berbagi kapasitas. Secara konsep, ini menarik buat tim kecil, homelab, lab riset, atau builder yang punya beberapa mesin tapi tidak mau semua workflow bergantung ke satu provider cloud.
Tapi level ketiga ini juga paling banyak utangnya. Lu bukan cuma menjalankan model. Lu membangun sistem distributed.
Kapan mesh AI masuk akal?
Menurut gua, mesh AI belum perlu jadi default buat semua orang. Banyak workflow masih lebih waras pakai managed API atau satu server lokal. Tapi mesh mulai masuk akal kalau lu punya kondisi seperti ini:
- lu punya beberapa mesin dengan GPU/RAM yang sering idle;
- task AI lu bisa ditoleransi kalau latency sedikit naik;
- lu butuh kontrol data lebih besar daripada API publik;
- lu punya alasan kuat buat mengurangi vendor lock-in;
- lu siap ngurus monitoring, akses, dan failure mode;
- lu tidak menganggap “jalan di local” sebagai pengganti security review.
Kalau kebutuhan lu cuma autocomplete, brainstorming, atau generate caption, mesh mungkin overkill. Tapi kalau lu sedang membangun workflow internal yang sensitif, ingin eksperimen routing model, atau punya hardware yang tersebar, ini jadi arah yang layak dipantau.
Pelajaran paling penting: AI stack itu bukan cuma model
Diskusi soal AI sering terlalu fokus ke model: model mana yang paling pintar, benchmark mana yang naik, context window berapa besar. Padahal buat builder, pertanyaan yang lebih penting sering kali lebih membumi:
- request AI ini jalan di mana?
- data apa yang keluar dari mesin?
- berapa biaya per task yang benar-benar selesai?
- kalau provider atau node mati, fallback-nya apa?
- siapa yang bisa audit hasil kerja agent?
Mesh LLM menarik karena memaksa kita melihat AI sebagai sistem, bukan cuma chatbot. Ada model, runtime, jaringan, identity, routing, policy, dan observability. Kalau salah satu berantakan, output AI yang terlihat pintar tetap bisa jadi workflow yang rapuh.
Checklist sebelum tergoda bikin mesh AI sendiri
Kalau lu pengin eksplorasi local AI yang lebih serius, mulai dari checklist kecil ini:
- Mulai dari task sempit. Jangan langsung semua workflow dipindah. Pilih satu task: summarization, embedding, draft awal, atau batch transform.
- Ukur latency end-to-end. Jangan cuma lihat token per detik model. Ukur waktu dari request masuk sampai hasil siap dipakai.
- Pisahkan data sensitif. Tidak semua node boleh dapat konteks yang sama.
- Catat node yang melayani request. Kalau hasil salah, lu harus tahu request itu diproses di mana.
- Punya fallback manual. Mesh yang keren tetap harus bisa gagal dengan aman.
- Jangan skip threat model. Peer-to-peer bukan sinonim aman. Identity dan permission tetap harus jelas.
FAQ singkat
Apakah Mesh LLM siap menggantikan API cloud?
Belum tentu. Dari sumber yang gua baca, ini lebih tepat dilihat sebagai eksperimen arsitektur yang menarik, bukan pengganti universal untuk provider cloud. Lu tetap perlu benchmark workload sendiri.
Apakah local AI selalu lebih aman?
Tidak otomatis. Local AI ngasih kontrol lebih besar, tapi kalau node, network, permission, dan log-nya berantakan, risikonya tetap ada.
Siapa yang paling perlu memantau tren mesh AI?
Developer yang main di homelab, AI infra, internal tooling, privacy-sensitive workflow, atau tim kecil yang punya hardware sendiri dan mulai mikir soal vendor lock-in.
Takeaway
Local AI berikutnya mungkin bukan cuma “model jalan di laptop gua”. Bisa jadi bentuknya mesh: beberapa mesin, beberapa node, satu API, dan banyak keputusan routing di belakang layar. Tapi jangan kebalik: mesh bukan shortcut buat menghindari engineering. Mesh justru bikin kebutuhan engineering makin jelas.
Kalau lu builder, pelajaran praktisnya sederhana: jangan cuma tanya model apa yang paling pintar. Tanya juga sistemnya jalan di mana, siapa yang punya akses, gimana fallback-nya, dan bukti apa yang bisa lu audit. Di era AI agent, infrastructure literacy bukan bonus. Itu mulai jadi skill dasar.
