Merancang Agen AI agar Tahan terhadap Injeksi Prompt: Mengapa Keamanan Tidak Cukup dengan Filter

Perkembangan kecerdasan buatan (AI) telah membawa teknologi ini jauh melampaui sekadar chatbot yang menjawab pertanyaan. Saat ini, agen AI semakin mampu menjelajah internet, membaca berbagai sumber informasi, mengambil data, menggunakan perangkat lunak, hingga menjalankan tindakan tertentu atas nama pengguna.

Kemampuan tersebut membuat AI jauh lebih berguna. Namun, di balik manfaat itu terdapat tantangan keamanan baru. Ketika agen AI dapat berinteraksi dengan dunia luar, konten yang dibacanya tidak selalu aman. Sebuah halaman web, email, dokumen, atau pesan dari pihak ketiga dapat berisi instruksi yang sengaja dibuat untuk memengaruhi perilaku agen.

Ancaman tersebut dikenal sebagai prompt injection atau injeksi prompt. Menariknya, perkembangan serangan menunjukkan bahwa masalah ini tidak lagi sekadar berupa kalimat seperti “abaikan instruksi sebelumnya”. Serangan yang semakin efektif justru memanfaatkan teknik yang mirip dengan rekayasa sosial, yaitu berusaha meyakinkan AI bahwa tindakan tertentu masuk akal atau diperlukan.

Karena itu, membangun agen AI yang aman membutuhkan pendekatan lebih luas. Sistem tidak cukup hanya berusaha menemukan instruksi berbahaya. Arsitekturnya juga harus dirancang agar apabila agen berhasil dimanipulasi, dampak yang ditimbulkan tetap dapat dibatasi.

Apa Itu Injeksi Prompt?

Secara sederhana, injeksi prompt merupakan upaya memasukkan instruksi ke dalam informasi yang dibaca AI dengan tujuan memengaruhi perilaku model.

Bayangkan seorang pengguna meminta agen AI mencari informasi mengenai sebuah produk. Agen kemudian membuka sebuah halaman web. Di halaman tersebut terdapat teks yang secara langsung memerintahkan AI untuk mengabaikan permintaan pengguna dan melakukan tindakan lain.

Masalahnya muncul karena agen tidak hanya membaca informasi untuk menjawab pertanyaan, tetapi juga mungkin menggunakan informasi tersebut sebagai bagian dari proses pengambilan keputusan.

Pada sistem AI sederhana, dampaknya mungkin hanya berupa jawaban yang keliru. Namun, risikonya jauh lebih besar pada agen yang mempunyai kemampuan menjalankan tindakan. Jika agen dapat mengirim email, mengakses dokumen, mengikuti tautan, menggunakan aplikasi, atau mengirimkan informasi kepada pihak lain, manipulasi terhadap model dapat berubah menjadi masalah keamanan nyata.

Serangan semacam ini pernah dibayangkan dalam bentuk sederhana, misalnya dengan menyisipkan instruksi tertentu ke dalam artikel yang kemungkinan dibaca agen AI. Seiring model menjadi semakin baik dalam mengenali instruksi mencurigakan, pendekatan serangan juga ikut berkembang.

Serangan Mulai Menyerupai Rekayasa Sosial

Salah satu perubahan penting dalam perkembangan prompt injection adalah meningkatnya penggunaan teknik rekayasa sosial.

Pada manusia, rekayasa sosial tidak selalu dilakukan dengan memberikan perintah secara langsung. Penyerang bisa membuat seseorang percaya bahwa dirinya sedang menghadapi keadaan darurat, membuat cerita yang meyakinkan, menciptakan rasa takut, atau memberikan informasi yang tampak masuk akal.

Prinsip serupa dapat diterapkan terhadap agen AI.

Alih-alih menulis instruksi yang jelas-jelas mencurigakan, konten berbahaya dapat dirancang seolah-olah merupakan bagian normal dari situasi yang sedang dihadapi agen. Dengan demikian, sistem pendeteksi yang hanya mencari pola atau kata tertentu dapat kesulitan membedakan konten biasa dari manipulasi yang sebenarnya berbahaya.

Inilah alasan pendekatan seperti AI firewalling, yang berusaha mengklasifikasikan konten sebagai aman atau merupakan prompt injection, memiliki keterbatasan.

Mendeteksi serangan secara sempurna pada dasarnya bisa sangat sulit. Sebuah instruksi belum tentu terlihat berbahaya jika dilihat tanpa konteks. Sebaliknya, kalimat biasa dapat menjadi berisiko apabila ditempatkan dalam situasi tertentu.

Dengan kata lain, keamanan agen AI bukan hanya persoalan “apakah teks ini berbahaya?”, tetapi juga “apa yang akan terjadi jika agen mempercayai teks tersebut?”

Mengapa Filter Saja Tidak Cukup?

Sistem penyaring tetap berguna. Namun, menjadikan filter sebagai satu-satunya pertahanan dapat menciptakan kelemahan.

Misalnya, sebuah agen membaca email dari pelanggan. Email tersebut mengatakan bahwa pelanggan belum menerima pengembalian dana dan meminta agen segera memberikan kompensasi.

Sekilas, permintaan tersebut terlihat normal. Tetapi bagaimana jika pengirim sebenarnya sedang mencoba memanipulasi agen agar memberikan refund yang tidak berhak diterimanya?

Situasi tersebut tidak selalu bisa diselesaikan dengan mencari kata-kata tertentu. Yang diperlukan adalah aturan mengenai tindakan apa yang boleh dilakukan agen, batas nominal transaksi, informasi apa yang boleh diberikan, serta kapan keputusan harus mendapatkan persetujuan manusia atau sistem lain.

Konsep ini sebenarnya sudah lama digunakan dalam sistem layanan pelanggan yang dikelola manusia.

Seorang petugas mungkin diberikan wewenang memberikan pengembalian dana hingga batas tertentu. Jika nilai kompensasi melewati batas tersebut, keputusan harus diteruskan kepada supervisor.

Dengan pendekatan yang sama, agen AI tidak harus dibuat sempurna. Sistemnya justru harus dirancang supaya kesalahan satu agen tidak otomatis berubah menjadi kerugian besar.

Belajar dari Sistem Agen Layanan Pelanggan

Pendekatan ini dapat digambarkan melalui sistem tiga pihak.

Pertama, terdapat organisasi atau pengguna yang memberikan tujuan kepada agen. Kedua, ada agen AI yang bertugas menjalankan tujuan tersebut. Ketiga, terdapat pihak eksternal yang berinteraksi dengan agen dan belum tentu memiliki kepentingan yang sama.

Agen berada di tengah-tengah situasi tersebut.

Misalnya, sebuah perusahaan meminta agen menangani komplain pelanggan. Agen memiliki kemampuan memberikan kartu hadiah atau pengembalian dana dalam kondisi tertentu.

Masalahnya, pelanggan dapat memberikan informasi yang salah. Mereka mungkin mengatakan refund belum diterima, meskipun sebenarnya sudah diproses. Bahkan, pihak tertentu bisa memberikan tekanan emosional agar agen mengambil keputusan yang tidak seharusnya.

Karena itu, agen perlu mempunyai batasan.

Sistem deterministik dapat membatasi jumlah refund yang boleh diberikan, menandai pesan mencurigakan, meminta verifikasi tambahan, atau menghentikan tindakan tertentu yang berisiko tinggi.

Dengan demikian, keamanan tidak bergantung sepenuhnya pada kemampuan AI dalam mengenali manipulasi.

Prinsip Sumber dan Sink

Salah satu pendekatan yang dapat digunakan dalam merancang keamanan agen adalah melihat hubungan antara source dan sink.

Source merupakan sumber yang dapat memengaruhi agen. Contohnya adalah halaman web, email, dokumen, pesan pengguna lain, atau data dari layanan eksternal.

Sementara itu, sink adalah kemampuan agen yang dapat menghasilkan dampak ketika digunakan secara tidak tepat.

Contohnya adalah mengirim informasi kepada pihak ketiga, mengikuti tautan tertentu, mengubah data, melakukan transaksi, atau berinteraksi dengan alat eksternal.

Risiko menjadi tinggi ketika sumber yang tidak tepercaya terhubung dengan sink yang memiliki konsekuensi besar.

Misalnya, sebuah halaman web yang tidak tepercaya mungkin berisi instruksi untuk mengirimkan data percakapan kepada alamat tertentu. Jika agen mempunyai kemampuan mengirim informasi tersebut tanpa pemeriksaan tambahan, prompt injection dapat berubah menjadi kebocoran data.

Karena itu, desain keamanan harus memperhatikan hubungan keduanya.

Melindungi Informasi Sensitif

Salah satu skenario serangan yang menjadi perhatian adalah upaya membuat agen mengambil informasi rahasia dari percakapan kemudian mengirimkannya kepada pihak ketiga.

Dalam kondisi normal, pelatihan keselamatan AI diharapkan membuat agen menolak permintaan tersebut. Namun, tidak bijaksana jika sistem hanya mengandalkan kemampuan model untuk selalu mengambil keputusan yang benar.

Diperlukan lapisan perlindungan tambahan.

Salah satu pendekatan yang dijelaskan dalam materi tersebut adalah mekanisme Safe URL, yang digunakan untuk mendeteksi situasi ketika informasi yang diketahui asisten dari percakapan berpotensi dikirim kepada pihak ketiga.

Dalam kasus tertentu, sistem dapat memperlihatkan kepada pengguna informasi apa yang akan ditransmisikan dan meminta konfirmasi.

Jika tindakan tersebut dianggap tidak aman, sistem dapat memblokirnya dan mengarahkan agen untuk mencari cara lain dalam memenuhi permintaan pengguna.

Pendekatan ini penting karena mengembalikan kendali kepada pengguna ketika tindakan memiliki konsekuensi keamanan yang signifikan.

Konfirmasi Manusia Menjadi Lapisan Penting

Tidak semua tindakan harus membutuhkan persetujuan manusia. Jika setiap keputusan kecil harus dikonfirmasi, agen AI justru kehilangan manfaat otomatisasinya.

Namun, tindakan tertentu memang layak mendapatkan konfirmasi.

Contohnya adalah mengirim data sensitif, melakukan transaksi bernilai besar, menghapus informasi penting, memberikan akses kepada pihak ketiga, atau melakukan tindakan yang sulit dibatalkan.

Prinsipnya sederhana: semakin besar potensi dampaknya, semakin kuat kontrol yang diperlukan.

Pendekatan tersebut mirip dengan sistem perbankan. Pengguna dapat melihat saldo secara otomatis, tetapi transaksi tertentu mungkin membutuhkan autentikasi tambahan.

Agen AI juga membutuhkan prinsip serupa. Tujuannya bukan membuat agen tidak mampu melakukan apa pun, melainkan memastikan kemampuan yang berisiko tinggi mempunyai pengaman yang proporsional.

AI Harus Menjadi Alat Bantu, Bukan Titik Kegagalan Tunggal

Salah satu kesalahan dalam merancang agen AI adalah menganggap model sebagai satu-satunya komponen keamanan.

Model memang dapat dilatih untuk mengenali instruksi berbahaya, menolak manipulasi, dan memahami konteks. Namun, model tetap dapat melakukan kesalahan.

Karena itu, sistem keamanan harus dibuat berlapis.

Lapisan pertama dapat berupa pelatihan keselamatan model. Lapisan berikutnya adalah pembatasan kemampuan agen. Setelah itu terdapat pemeriksaan terhadap sumber dan tujuan tindakan. Untuk tindakan berisiko tinggi, dapat ditambahkan konfirmasi pengguna atau pemeriksaan sistem deterministik.

Dengan cara ini, kegagalan pada satu lapisan tidak otomatis menyebabkan seluruh sistem gagal.

Bagaimana Masa Depan Agen AI?

Agen AI yang benar-benar otonom akan semakin banyak berinteraksi dengan lingkungan eksternal. Mereka akan membaca informasi dari internet, menggunakan aplikasi, berkomunikasi dengan layanan lain, dan menjalankan tugas yang sebelumnya membutuhkan manusia.

Artinya, menghadapi lingkungan yang bersifat adversarial bukan lagi persoalan tambahan, melainkan bagian penting dari desain agen.

Model AI dengan kemampuan penalaran yang semakin tinggi kemungkinan akan semakin baik dalam mengenali upaya manipulasi. Namun, meningkatkan kecerdasan model bukan selalu solusi paling murah atau paling efektif.

Dalam banyak situasi, membangun sistem yang membatasi dampak kesalahan justru lebih masuk akal.

Prinsipnya dapat diterapkan pada berbagai aplikasi AI, mulai dari layanan pelanggan, asisten kantor, sistem pengelolaan dokumen, hingga agen yang mampu melakukan tindakan di internet.

Bukan Sekadar Membuat AI Lebih Pintar

Perdebatan mengenai prompt injection sering kali berfokus pada bagaimana membuat model semakin pintar agar tidak mudah tertipu.

Hal tersebut memang penting, tetapi bukan satu-satunya jawaban.

AI yang aman membutuhkan kombinasi antara model yang mampu memahami konteks, arsitektur aplikasi yang membatasi kewenangan, pemeriksaan terhadap sumber dan tindakan, serta mekanisme konfirmasi ketika risiko meningkat.

Dengan pendekatan tersebut, keberhasilan sebuah serangan tidak langsung berarti bencana.

Inilah perubahan cara berpikir yang penting dalam keamanan agen AI. Tujuannya bukan sekadar menciptakan agen yang tidak pernah tertipu, karena target tersebut sangat sulit dicapai. Tujuannya adalah menciptakan agen yang tetap aman bahkan ketika menghadapi informasi menyesatkan dan manipulasi yang berhasil.

Pada akhirnya, agen AI masa depan tidak hanya harus pintar dalam menjalankan tugas. Mereka juga harus memiliki batas kewenangan yang jelas. Semakin luas kemampuan sebuah agen, semakin penting pula sistem pengaman yang mengelilinginya.

Jika prinsip ini diterapkan sejak tahap perancangan, AI dapat berinteraksi dengan dunia luar secara lebih aman tanpa harus kehilangan manfaat otomatisasinya. Prompt injection mungkin akan terus berkembang, tetapi sistem yang dirancang dengan pertahanan berlapis dapat membuat dampaknya jauh lebih sulit untuk dieksploitasi.