Saya mencari tahu bagaimana pertahanan prompt-injection Newton sebenarnya bekerja secara mekanis, sebagian besar berharap menemukan halaman teknis yang menjelaskannya di suatu tempat, karena hal itu tercantum secara gamblang di antara pengaman keamanan agen protokol, berdampingan dengan batas pengeluaran dan penerima pembayaran yang disetujui. yang saya temukan justru fitur itu—disebut berulang kali—di materi milik Newton sendiri, dan tidak ada penjelasan tentang mekanismenya. tidak ada penyebutan tentang penyaringan input, verifikasi output, sandboxing, deteksi semantik, tidak ada teknik spesifik yang biasanya dibangun oleh peneliti keamanan untuk hal itu. yang ada hanya labelnya saja, terletak di sana. saya terus menggulir dengan harapan bagian "cara kerjanya" akan muncul suatu saat. tidak ada.
biar lebih tepat: situs milik Newton mencantumkannya sebagai satu item mentah, "Prompt-Injection Defense," yang berada dalam daftar berisi empat item bersama "Spending Caps," "Approved Payees," dan "Mandate Enforcement," tanpa elaborasi apa pun di halaman tersebut. Tidak ada tautan ke halaman teknis, tidak ada catatan kaki, tidak ada apa-apa. Tiga item lain di daftar itu setidaknya mendeskripsikan mekanisme yang sudah jelas—spending cap itu cap, daftar payee itu daftar. "prompt-injection defense" adalah satu-satunya item dalam kelompok itu yang menyebut sebuah masalah riset yang utuh dan benar-benar diperebutkan, lalu memadatkannya menjadi tiga kata tanpa penjelasan sisi masalah mana yang sebenarnya sedang diselesaikannya.
Kekurangan itu akan jauh lebih mengganggu saya jika prompt injection sudah menjadi masalah yang terselesaikan di tempat lain di industri—sesuatu yang bisa diperlakukan Newton sebagai daftar centang. Faktanya, tidak. Di sinilah saya mulai benar-benar menggali riset yang lebih luas, bukan hanya halaman Newton. OWASP telah menempatkan prompt injection sebagai kerentanan nomor satu di LLM Top 10 untuk tiga tahun berturut-turut. Kerentanan GitHub Copilot tahun 2025, CVE-2025-53773, mendapat skor 9,6 dari 10 untuk tingkat keparahan dan memungkinkan penyerang melakukan remote code execution melalui kelas serangan yang persis sama: instruksi yang disembunyikan di dalam konten yang diambil agen, bukan instruksi yang diketik oleh pengguna. Dan ini bukan sekadar risiko hipotetis yang duduk di suatu makalah akademik. Zscaler mendokumentasikan, pada 6 Juli 2026, kampanye aktif nyata menggunakan serangan yang persis ini: indirect prompt injection yang disisipkan dalam situs web berbahaya, salah satunya disamarkan sebagai dokumentasi API, secara khusus dirancang untuk menipu agen AI agar melakukan pembayaran atau mempercayai platform cryptocurrency penipuan. CrowdStrike secara terpisah memperluas taksonomi teknik prompt injection menjadi lebih dari 200 metode berbeda hanya dua hari kemudian, pada 8 Juli. Ini sedang terjadi sekarang, di domain yang sama persis: agen AI membuat keputusan keuangan di onchain, sementara guardrail Newton seharusnya menutupinya. Saya masuk dengan asumsi ini adalah kategori risiko yang sebagian besar sudah tertangani. Ternyata sangat tidak.
ini bagian yang benar-benar membuat saya berhenti. satu makalah baru-baru ini, dibangun di sekitar apa yang disebut "the prompt guardrail fallacy," berargumen bahwa menyematkan instruksi keselamatan langsung ke system prompt agen pada dasarnya rusak sebagai pertahanan, karena model memproses instruksi keselamatan dan input adversarial melalui mekanisme yang persis sama, tanpa pemisahan arsitektural antara instruksi tepercaya dan data yang tidak tepercaya. Dan ini bukan semacam pandangan pinggiran yang saya temui secara kebetulan. OpenAI sendiri telah mengakui bahwa model tidak punya cara yang andal untuk membedakan instruksi dari data, dan NIST mengklasifikasikan jalur yang persis ini sebagai ancaman inti bagi sistem agenik. Jika keadaan bidangnya memang sejujur itu, fitur bernama tunggal "prompt-injection defense" sedang melakukan banyak pekerjaan diam-diam untuk terdengar seperti masalah yang sudah terselesaikan, padahal orang-orang yang membangun riset pertahanan khusus belum sampai ke sana sendiri.
Saya ingin bersikap adil kepada Newton di sini, meskipun ini juga bagian tempat saya meyakinkan diri untuk membaca lebih dermawan daripada saat saya mulai. Ada kemungkinan yang benar-benar masuk akal bahwa ini sama sekali bukan celah. Newton menerapkan komputasi rahasia berbasis TEE, atestasi di tingkat operator, evaluasi kebijakan berbasis Rego, dan slashing yang didukung EigenLayer—semuanya berada di luar agen itu sendiri. Sangat mungkin bahwa pertahanan asli Newton bukan tentang menghentikan injeksi pada tingkat model seperti yang dikritik oleh makalah "guardrail fallacy"; melainkan bersifat struktural: bahkan jika sebuah agen berhasil dibajak, ia tidak bisa mengeksekusi transaksi yang tidak diotorisasi, karena mesin kebijakan dan pemeriksaan konsensus operator tetap memvalidasi tindakan apa pun yang coba diinginkan oleh agen yang telah dikelabui. Jika desain aslinya seperti itu, maka "pertahanan prompt-injection" sebenarnya tidak mengklaim menghentikan injeksinya; ia mengklaim membuat injeksi yang berhasil menjadi tidak berbahaya di hilir. Itu arsitektur yang jauh lebih kuat daripada sekadar mencoba mengalahkan penyerang dengan prompt yang lebih baik, dan itu akan selaras dengan semua yang saya tahu tentang cara lapisan kebijakan Newton benar-benar bekerja.
tapi saya tidak bisa mengonfirmasi bahwa itu adalah desain yang sebenarnya, karena Newton tidak pernah mengatakan demikian di mana pun yang bisa saya temukan. Fitur tersebut dicantumkan sebagai "prompt-injection defense," full stop, bukan "structural containment that limits what a hijacked agent can do". Itu dua klaim yang sangat berbeda dengan memakai tiga kata yang sama, dan mana yang benar akan mengubah apa yang seharusnya benar-benar diharapkan seorang kurator ketika agen yang dideploy menjadi target—terutama sekarang, ketika kampanye nyata sudah menguji kelemahan ini langsung terhadap agen yang berhadapan dengan kripto di dunia nyata. Satu cara pandang mengatakan serangan tersebut dihentikan. Cara pandang lainnya mengatakan serangan mungkin berhasil di tingkat model, tapi dinetralisasi sebelum mengeksekusi apa pun yang benar-benar nyata. Mengingat betapa seriusnya dunia keamanan memperlakukan ancaman kelas yang persis ini saat ini, saya pikir perbedaan itu seharusnya dijelaskan langsung oleh Newton, bukan dibiarkan hanya menjadi label tiga kata. 🔍
yang sebenarnya ingin saya ketahui, namun belum saya temukan pengungkapannya di mana pun, adalah mana dari dua maksud Newton tersebut yang benar-benar dia maksud, dan apakah klaim itu sudah diuji terhadap sesuatu yang menyerupai benchmark adversarial yang sedang dibangun oleh para peneliti khusus untuk tujuan ini. Sebuah fitur yang dicantumkan dan sebuah pertahanan yang dibenchmark berdasarkan mekanisme yang spesifik adalah dua tingkat jaminan yang berbeda, dan saat ini yang hanya bisa saya lihat adalah labelnya.
