Dua Mini PC NVIDIA DGX Spark Ini Jadi "Karyawan" AI Lokal yang Meninjau Kode Program

LINKARFAKTA.COM — Kebanyakan orang menggunakan AI generatif untuk sekadar bertanya atau membuat draf. Namun, seorang pengembang memilih jalur berbeda dengan mengubah dua unit komputer mini NVIDIA DGX Spark menjadi asisten pribadi yang benar-benar bekerja.

Dengan total memori terpadu 256 GB (128 GB per unit) yang terhubung lewat kabel ConnectX-7, sistem ini menjalankan model AI besar dengan kecepatan 30 hingga 50 token per detik. Kecepatan ini cukup untuk memproses jutaan token konteks sekaligus.

Konteks Raksasa 1 Juta Token untuk Seluruh Basis Kode

Kunci utama dari sistem ini adalah kemampuan membaca hampir semua file dalam satu waktu. Model AI yang digunakan, yang memiliki 284 miliar parameter, mendukung jendela konteks hingga satu juta token. Ini berarti seluruh isi repositori kode, riwayat percakapan, dan catatan kerja seharian bisa dimuat dalam satu sesi tanpa kehilangan detail.

Cache KV berjalan pada presisi NVFP4 yang didekuantisasi oleh tensor core Blackwell, memakan ruang hanya sekitar 8,5 GiB untuk satu juta token. Kecepatan pemrosesan prompt mencapai 1.300 hingga 1.900 token per detik, sehingga memuat basis data besar tidak memakan waktu lama.

Untuk sesi dengan 120.000 token, data yang ditransfer antar dua mesin mencapai 90 GB. Transfer sebesar itu "disembunyikan" oleh kecepatan link 200 Gb/s dari kartu jaringan ConnectX-7, sehingga tidak terasa lag.

Enam Sub-Agen untuk Meninjau Kode Secara Menyeluruh

Fitur yang paling berguna adalah agen peninjau kode. Pengguna cukup mengirim pesan melalui Telegram, lalu sistem akan memecah tugas menjadi enam sub-agen yang bekerja paralel pada model yang sama. Hasilnya berupa daftar potensi masalah yang muncul 20 hingga 30 menit kemudian.

"Saya tinggal memilih dari daftar mana yang layak dijadikan laporan isu, lalu mengerjakannya sendiri setelahnya," tulis pengembang tersebut dalam laporannya. Sistem ini memiliki kunci SSH khusus untuk satu repositori Git dan token terpisah untuk membuka isu secara otomatis di GitHub.

Keamanan menjadi prioritas utama. Mesin ini dipisahkan dari sebagian besar jaringan lokal (LAN) dengan firewall. Koneksi ke internet yang lebih luas pun diatur ketat oleh pengguna, bukan ditentukan sendiri oleh agen AI, untuk mengurangi risiko serangan prompt injection.

Memori Permanen dan Keterampilan yang Bisa Dipelajari

Keunggulan lain dari sistem bernama Hermes Agent ini adalah memori persisten. Preferensi pengguna, detail proyek, dan bahkan kesalahan yang dibuat minggu lalu disimpan dalam file yang dibaca di awal setiap percakapan. Ini memastikan AI tidak mengulangi kesalahan yang sama.

Selain itu, jika diminta melakukan tugas yang belum pernah diajarkan, sistem bisa menyimpannya sebagai "keterampilan" (skill). Keterampilan ini akan dimuat kembali ke dalam konteks saat tugas serupa muncul di kemudian hari.

Dengan alur kerja ini, dua mini PC tersebut telah menjadi alat produktivitas paling kuat yang pernah dimiliki pengembang tersebut. Tidak ada data yang dikirim ke layanan cloud, tidak ada aktivitas yang dicatat pihak ketiga, dan satu-satunya biaya berulang hanyalah tagihan listrik.