Kenapa Pilot AI Coding Agent Mandek Sebelum Production

Kenapa Pilot AI Coding Agent Mandek Sebelum Production

Mayoritas pilot AI coding agent enterprise tidak pernah sampai production. Bukan karena modelnya kurang pintar. Datanya konsisten: survei Zapier terhadap lebih dari 800 senior leader menemukan 84% perusahaan punya minimal satu pilot AI yang mangkrak, 38% di antaranya sudah lebih dari setahun. Laporan Project NANDA dari MIT Media Lab, Juli 2025, menemukan 95% organisasi tidak melihat return finansial terukur dari pilot generative AI mereka. Dua angka ini sering dianggap sama, padahal beda: yang satu menghitung pilot yang tidak pernah rilis, yang satu lagi menghitung pilot yang sudah rilis tapi tetap tidak menghasilkan. Populasi dan metriknya beda, tapi kesimpulannya sama — mayoritas proyek agentic AI tidak sampai ke titik yang layak disebut production.

Ini bukan soal kualitas model

Penjelasan paling gampang: modelnya belum cukup pintar. Tapi mereka yang benar-benar mengolah angkanya tidak sampai pada kesimpulan itu. Perkiraan Gartner Juni 2025, dari senior director analyst Anushree Verma, memprediksi lebih dari 40% proyek agentic AI akan dibatalkan sebelum akhir 2027. Penyebabnya: biaya membengkak, nilai bisnis tidak jelas, kontrol risiko tidak memadai. Kualitas model tidak masuk daftar itu.

Laporan MIT malah lebih tegas. Mereka mencoret kualitas model, infrastruktur, regulasi, dan talent dari daftar penghambat. Yang mereka tunjuk adalah "learning gap" — soal bagaimana organisasi menyesuaikan proses kerja di sekitar tool itu.

Dua studi paling banyak dikutip di bidang ini sama-sama menelusuri penyebabnya. Tidak satu pun menyalahkan model. Kode yang ditulis agent dalam pilot biasanya sudah cukup bagus — yang hilang adalah semua hal yang seharusnya ada di sekelilingnya sebelum kode itu mendekati repo klien.

Kesenjangan governance, dalam angka

Bayangkan kontraktor baru masuk kantor tanpa ID card, tanpa kontrak tertulis, langsung dikasih kunci semua ruangan. Itu kondisi rata-rata deployment AI agent production hari ini. State of AI Agent Security Report 2026 dari Gravitee, survei terhadap 750 senior technology leader pada April 2026, menemukan hanya 19,7% organisasi yang mengaku semua AI agent production mereka fully secured dan governed sebelum go-live.

Sekitar 48% agent production berjalan tanpa pengamanan yang layak. Cuma 7,2% organisasi punya satu orang yang secara formal bertanggung jawab atas perilaku agent. Ini bukan risiko hipotetis di slide presentasi — ini kondisi nyata deployment agent, termasuk coding agent.

Empat dari lima organisasi tidak bisa mengklaim agent mereka fully governed. Mayoritas pilot mandek sebelum production. Kesenjangan yang sama, terukur dari dua arah berbeda.

Kenapa ini lebih berat buat SME

Ukuran perusahaan tidak menggeser standar yang harus dipenuhi. Yang berubah adalah siapa yang harus membangun mesin untuk memenuhinya. Enterprise besar sudah punya tim identity, SIEM (sistem pusat pencatat dan pendeteksi kejadian keamanan), dan fungsi compliance yang selama satu dekade beradaptasi dengan service account dan kontraktor pihak ketiga — memperluas itu untuk AI agent kebanyakan cuma soal konfigurasi.

SME biasanya tidak punya mesin apa pun untuk diperluas. Tapi klausul kontrak klien soal data handling tetap sama, kewajiban audit tetap sama begitu codebase klien masuk lingkup kerja. Sering kali fungsi keamanannya cuma satu orang, atau siapa pun yang kebetulan juga pegang DevOps di hari Jumat.

Kesenjangan antara kewajiban dan infrastruktur inilah yang membuat sebuah engagement konsultasi layak dibayar. Bukan membuat kode pilot-nya lebih bagus, tapi membangun lapisan di sekelilingnya yang terlewat saat pilot berjalan. Menjalankan engagement itu sendiri dengan baik juga disiplin tersendiri yang layak dibereskan sebelum agent pertama menyentuh repository.

Yang harus ada sebelum agent menyentuh repo

Enam hal ini harus ada lebih dulu. Urutannya kira-kira mengikuti seberapa besar kerusakan kalau celahnya dibiarkan:

1. Pemetaan identitas bernama. Setiap sesi agent bisa dilacak ke akun manusia lewat SSO — SAML atau OIDC. "Agent-nya yang melakukan" bukan jawaban audit; "agent ini, atas sesi orang ini, pada waktu ini" baru jawaban audit.
2. Secret-scanning gate di setiap pull request agent. Coding agent menarik API key dan credential dari mana pun itu terlihat di repo atau riwayatnya, dan akan meng-commit-nya kalau tidak ada yang mencegah. Jalankan sebelum merge, bukan sesudahnya.
3. Sandboxed execution. Agent menjalankan dan menguji kode di tempat yang bukan production, dengan network egress dibatasi cuma yang benar-benar dibutuhkan task.
4. RBAC dan least privilege. Set repo, branch, dan tool permission yang paling sempit sesuai kebutuhan task — jangan pernah credential permanen sejangkauan senior engineer.
5. Audit logging yang terhubung ke SIEM. Setiap tool call, file write, dan command execution masuk ke log yang sudah dipantau tim security, bukan dashboard terpisah yang tidak pernah dibuka siapa pun.
6. Keputusan data residency, sekali, tertulis. Di mana penyedia model memproses kode Anda, dan apakah itu memenuhi kontrak klien atau regulator yang mengikat Anda?

Tidak ada yang eksotis dari daftar ini. Ini disiplin access-control yang sudah diterapkan SME untuk kontraktor baru atau vendor SaaS baru — cuma sekarang diterapkan ke software yang bisa bertindak sendiri.

Kalau digambarkan sebagai jalur dari pilot ke production, gerbang-gerbangnya begini:

Pilot yang lompat langsung dari "agent-nya menulis kode yang jalan" ke "rilis saja" berarti melewati semua gerbang di diagram itu sekaligus.

Di mana harus mulai pilot

Pilih target pilot seperti eksperimen terkontrol: terbatas, bisa dibatalkan, dampaknya kecil. Tool internal, situs dokumentasi, backlog test suite, microservice dengan traffic rendah — tempat yang merge-nya salah pun cuma menghabiskan satu sore, bukan hubungan dengan klien.

Jangan jalankan pilot di repo production inti atau mendekati codebase klien sampai enam gerbang di atas sudah terbukti di sesuatu yang lebih kecil. Pilot bukan untuk membuktikan agent bisa menulis kode bagus — setiap demo vendor sudah menjawab itu. Pilot ada untuk membuktikan scaffolding governance-nya bertahan di pemakaian nyata sebelum taruhannya naik.

Cara mengukur pilot secara jujur

Di sinilah kebanyakan pilot diam-diam membohongi diri sendiri. Insting alaminya: ukur keberhasilan dari apakah agent menghasilkan kode yang jalan, pull request yang di-merge, atau jam kerja engineering yang dihemat. Angka-angka itu nyata, tapi menjawab pertanyaan yang salah.

Ujian yang benar: apakah pilot ini bisa lolos audit compliance dan access-control hari ini? Bisakah Anda menunjukkan persis manusia mana yang bertanggung jawab atas setiap tindakan agent, persis apa yang boleh dan tidak boleh disentuh agent, dan persis di mana output-nya dicatat? Data Gravitee bilang mayoritas organisasi yang menjalankan agent di production tidak bisa menjawab ya untuk itu.

Kalau pilot Anda bisa, Anda sudah membangun sesuatu yang lebih berharga dari agent yang menulis kode bagus. Anda membangun yang benar-benar boleh dirilis.

Governance dulu adalah satu-satunya jalan ke production

Governance-dulu terlihat seperti jalan lambat kalau pilot Anda sudah menghasilkan kode lumayan dan cuma menunggu lampu hijau. Padahal bukan. Ini satu-satunya jalan yang berujung ke production, bukan ke folder evaluasi yang sama tempat mayoritas pilot mandek — sebagian sudah lebih dari setahun.

Enam gerbang di atas cuma butuh beberapa minggu untuk dibangun benar, kalau yang mengerjakannya sudah pernah melakukannya. Sebuah readiness review agentic AI yang terukur, gerbang demi gerbang. Bukan tambal sulam setelah klien menanyakan pertanyaan audit yang tidak bisa Anda jawab.