Agen AI di Server Sendiri: Cek Ini Dulu

Sebelum memasang agen AI di server sendiri, cek enam hal: siapa yang boleh memberi perintah, perintah apa yang boleh dijalankan tanpa minta izin, apakah dasbornya bisa diakses dari internet, apa saja yang diingatnya, skill tambahan dari mana yang dipasang, dan apakah setiap tindakannya tercatat. Pemasangan pada server sendiri memberi kendali tambahan, tetapi keamanan tetap bergantung pada pembatasan akses dan aliran data.

Apa yang dikerjakan agen AI di server sendiri?

Chatbot menjawab pertanyaan. Agen mengerjakan sesuatu. Ia membaca berkas, menjalankan perintah di komputer, memanggil API, mengirim pesan, lalu mengulang sampai tugasnya selesai. Cara kerja putaran itu sudah saya bahas di artikel putaran kerja agen AI. Disebut self-hosted kalau agennya dipasang di laptop, server kantor, atau VPS milik sendiri, bukan dipakai lewat aplikasi web orang lain.

Banyak agen yang kini dikenal berasal dari proyek sumber terbuka. Nous Research merilis Hermes Agent pada Februari 2026. Agen ini punya ingatan yang bertahan antar-sesi, menulis "skill" sendiri dari pengalaman, dan bisa diajak bicara lewat terminal atau aplikasi percakapan seperti Telegram, Slack, dan Discord. Nama besar satunya, OpenClaw, viral di awal 2026 dan beberapa minggu kemudian sudah jadi bahan studi kasus keamanan.

Agen dapat menjangkau berkas dan sistem Anda, bekerja 24 jam, serta menjawab melalui aplikasi percakapan staf. Kemampuan ini juga membawa risiko. Agen beroperasi tanpa pengawasan terus-menerus dan menerima teks yang dapat digunakan untuk mengarahkannya.

Satu hal perlu diluruskan dulu: agennya di server sendiri belum tentu modelnya juga. Kalau agen tidak diarahkan ke model yang jalan di perangkat keras sendiri (Hermes mendukung Ollama dan vLLM lokal), setiap prompt, potongan berkas, dan isi ingatan tetap dikirim ke penyedia model. Periksa dua lokasi secara terpisah: tempat agen berjalan dan tempat model memproses data.

Siapa yang boleh memberi perintah ke agen?

Agen yang tersambung ke WhatsApp atau Telegram menerima perintah melalui pesan. Tentukan lebih dulu pengguna yang pesannya boleh diperlakukan sebagai instruksi.

Untuk urusan ini Hermes sudah benar dari awal. Model keamanannya memeriksa allowlist per platform (daftar ID pengguna yang disetujui), daftar pengguna global yang diizinkan, dan alur pairing yang mengeluarkan kode 8 karakter, berlaku satu jam. Di luar itu, ditolak. Yang perlu diwaspadai justru kebalikannya: setelan seperti GATEWAY_ALLOW_ALL_USERS=true yang dinyalakan waktu demo lalu lupa dimatikan.

Namun, daftar pengguna yang diizinkan hanya mengatur siapa yang memberi perintah. Isi yang dibaca agen tidak ikut diatur. Agen yang memproses email pelanggan atau grup percakapan bersama sedang membaca tulisan orang asing, dan tulisan itu bisa menyelipkan perintah. Serangan ini disebut prompt injection: perintah yang disisipkan ke dalam konten yang mestinya hanya dibaca. Pegangannya sederhana. Semua pesan, lampiran, dan halaman web yang disentuh agen adalah data, bukan perintah, walaupun yang meneruskannya orang kepercayaan Anda.

Perintah apa yang boleh dijalankan tanpa tanya dulu?

Hak eksekusi menentukan besarnya dampak jika agen salah bertindak. Akses ke terminal dapat memungkinkan agen menghapus folder selain melihat isinya.

Hermes punya tiga mode persetujuan di approvals.mode. Mode manual meminta persetujuan untuk perintah terminal berbahaya. Mode ini bukan gerbang persetujuan untuk setiap penulisan berkas atau API. Mode smart, yang jadi bawaan, menyerahkan penilaian risiko ke model AI kedua; yang dianggap aman langsung jalan. Mode off, alias YOLO, melewati semua pemeriksaan. Ada daftar blokir mutlak (hapus disk, fork bomb, penulisan langsung ke perangkat) yang tetap aktif di mode apa pun.

Untuk dipakai bisnis, bawaan itu layak ditinjau ulang. "Smart" artinya satu model memutuskan apakah perintah model lain aman. Buat asisten pribadi yang merapikan folder unduhan, itu cukup. Buat apa pun yang menyentuh data pelanggan, uang, atau sistem produksi: persetujuan manual untuk semua aksi tulis, dan mode YOLO jangan pernah ada di mesin itu.

Kontrol kedua: tempat perintah itu dijalankan. Hermes bisa menjalankan alat langsung di mesin utama, atau di dalam kontainer Docker, batas isolasi yang aksesnya bergantung pada folder yang dipasang, jaringan, dan hak proses. Profil kontainernya membuang kapabilitas Linux, membatasi jumlah proses di 256, dan ruang berkas sementara di 512 MB. Jalankan agen di dalam kotak itu, pasang hanya folder yang dibutuhkan, dan beri akun layanan sendiri, yaitu akun khusus yang haknya sebatas pekerjaan itu. Jangan pakai akun admin Anda. Prinsipnya punya nama: least privilege, hak sekecil mungkin.

Bisakah panel kontrol agen dibuka dari internet?

Banyak agen self-hosted datang dengan dasbor web. Kalau dasbor itu bisa dibuka dari IP publik, siapa pun yang menemukannya mungkin bisa ikut mengendalikan agen Anda.

OpenClaw memperlihatkan seberapa luas masalahnya. Tim STRIKE dari SecurityScorecard menghitung lebih dari 135.000 instalasi OpenClaw yang menghadap internet, seperti dilaporkan Bitdefender pada 12 Februari 2026. Alamat yang didengarkan bergantung pada versi dan cara pemasangan. Dokumentasi OpenClaw saat ini memakai loopback sebagai bawaan pemasangan di mesin utama; pemasangan kontainer dapat memakai alamat yang lebih luas. Periksa alamat dan autentikasi yang benar-benar aktif. Jangan menganggap semua pemasangan membuka port 18789 ke internet. Dari sampel 40.000 lebih instalasi terbuka yang dipelajari SecurityScorecard, 35,4% rentan remote code execution. Orang luar bisa menjalankan perintahnya sendiri di server itu.

Batasi akses panel sebelum layanan digunakan. Ikat dasbor ke 127.0.0.1 supaya hanya bisa dibuka dari mesin itu, akses jarak jauh lewat VPN, lalu pindai alamat IP publik sendiri sekali setelah pemasangan. Kalau port agen muncul di hasil pemindaian, anggap saja orang lain sudah lebih dulu menemukannya.

Apa yang diingat agen, dan di mana disimpannya?

Ingatan permanen membantu agen melanjutkan pekerjaan antarsesi. Catatan tersebut juga menjadi penyimpanan data baru yang perlu masuk daftar aset dan pengelolaan akses.

Menurut dokumentasi memorinya, Hermes menyimpan dua berkas kecil di ~/.hermes/memories/. MEMORY.md berisi catatan agen sendiri, maksimal 2.200 karakter. USER.md berisi profil penggunanya, maksimal 1.375 karakter. Yang jauh lebih besar adalah ~/.hermes/state.db, basis data SQLite berisi riwayat percakapan dari terminal dan semua aplikasi percakapan yang tersambung, lengkap dengan pencarian teks penuh.

Tinjau penyimpanan ini dari kewajiban pelindungan data. Begitu staf menempelkan nama pelanggan, nomor HP, atau tagihan ke agen, basis data itu berisi data pribadi menurut UU PDP. Kewajibannya sama dengan CRM: kontrol akses, masa simpan, penanganan kebocoran. Perubahan sanksi UU PDP di 2026 sudah saya ulas terpisah. Taruh folder data agen di disk terenkripsi, masukkan ke pencadangan, dan tentukan berapa lama sesi disimpan.

Ingatan juga bisa salah. Fakta yang keliru disimpan, atau sengaja ditanam lewat pesan yang disusupi, akan ikut terbawa ke setiap sesi berikutnya. Hermes punya memory.write_approval: true supaya ingatan baru menunggu persetujuan manusia. Nyalakan. Lalu periksa berkas ingatannya seperti memeriksa catatan karyawan baru tentang klien-klien Anda.

Dari mana paket kemampuan tambahan berasal?

Paket kemampuan tambahan atau skill berisi instruksi dan kadang skrip untuk tugas tertentu. Paket pihak ketiga dapat menjalankan kode dengan hak akses agen, sehingga perlu diperiksa seperti komponen perangkat lunak lain.

ClawHub, tempat berbagi paket kemampuan OpenClaw, pernah menjadi sasaran penyebaran paket berbahaya. Koi Security menemukan sekitar 341 skill berbahaya di sana pada 1 Februari 2026, sebagian besar dari satu kampanye yang kemudian dinamai ClawHavoc. Per 6 Februari, Antiy CERT menghitung setidaknya 1.184 skill berbahaya yang pernah diunggah. Cara yang digunakan cukup sederhana: SKILL.md yang meyakinkan, dengan bagian "Prerequisites" palsu yang menyuruh pengguna, atau agennya, mengunduh dan menjalankan program pencuri API key dan dompet kripto.

Temuan tidak berhenti pada kampanye tersebut. Unit 42 melaporkan pada 23 Juni 2026 bahwa mereka masih menemukan skill berbahaya baru sepanjang Februari sampai Mei, termasuk satu paket yang ditambahi 22 MB data tidak berguna untuk menghindari batas ukuran pemindai. Poin mereka berlaku untuk platform agen mana pun: skill jalan di dalam proses agen, dengan akses berkas dan terminal, tanpa sekat sendiri.

Perlakukan skill seperti dependensi perangkat lunak. Simpan daftar skill yang sudah disetujui, baca isinya sebelum dipasang, kunci versinya, dan jangan biarkan agen memasang skill sendiri dari hub publik. Paket kemampuan yang ditulis agen untuk dirinya sendiri, fitur andalan Hermes, juga harus lewat pemeriksaan yang sama sebelum menyentuh sistem produksi.

Bisakah Anda melacak apa yang dikerjakan agen Selasa lalu?

Begitu ada yang salah, pertanyaan pertama selalu: apa yang terjadi? Agen yang tidak bisa menjawabnya ibarat karyawan yang tidak pernah mencatat apa-apa dan tidak pernah diaudit.

Basis data sesi menyimpan percakapan, tetapi belum tentu menjadi jejak audit yang terlindungi. Agen dapat memiliki akses untuk mengubah atau menghapusnya. Yang dibutuhkan adalah log setiap pemanggilan alat: perintahnya, argumennya, siapa yang menyetujui, hasilnya. Log itu ditulis ke tempat yang tidak bisa diubah agen, misalnya server log terpisah atau penyimpanan yang hanya bisa ditambah.

Sebagian urusan kredensial sudah ditangani Hermes. API key hanya diteruskan ke proses plugin kalau dideklarasikan, format token yang umum disensor dari pesan galat, dan alat penulisan berkasnya melindungi sejumlah jalur sensitif. Perlindungan ini tidak membatasi terminal yang berjalan sebagai pengguna sistem operasi yang sama; penulisan berkas .env proyek juga tidak diblokir secara menyeluruh. Perlindungan bawaan ini tetap perlu dilengkapi dengan pembatasan kredensial: beri agen token API sendiri, cukup hanya-baca kalau memang cukup. Jika terjadi insiden, token khusus dapat segera dicabut untuk membatasi akses lanjutan.

Daftar periksa sebelum dipasang

Periksa daftar berikut sebelum agen diberi akses ke data atau sistem penting:

Banyak kegagalan agen berasal dari persoalan TI yang sudah dikenal: port terbuka, paket yang belum diperiksa, dan akun dengan hak berlebihan. Pembatasan yang sama tetap diperlukan, sementara agen dapat memperbesar dampak kesalahan dengan cepat. Agen yang jalan tanpa ditunggui bisa mengubah satu celah kecil jadi kerusakan dalam hitungan menit. Itu juga sebabnya banyak pilot agen mandek persis di titik ketika ada yang harus tanda tangan soal risikonya. Selesaikan sepuluh pemeriksaan tersebut agar keputusan penerapan didasarkan pada risiko dan kontrol yang jelas.