Saya terus kembali pada sesuatu yang terdengar hampir terlalu sederhana untuk benar-benar berarti, tapi saya menduga hal itu lebih berpengaruh daripada kebanyakan hal yang dibahas dalam panel, dokumen whitepaper, dan pengumuman peluncuran.
Ada perbedaan antara membangun sesuatu yang bisa bernalar dan membangun sesuatu yang bersedia Anda percayai dengan kunci.
Perbedaannya juga tidaklah samar. Ini jenis perbedaan yang dibicarakan secara tidak langsung daripada ditangani secara langsung, karena menanganinya berarti mengakui bahwa sebagian besar yang kita sebut keuangan otonom masih berjalan di atas lapisan tipis asumsi yang belum pernah diuji dengan tekanan secara memadai.
Saya sudah lama mengamati model-model AI menjadi lebih baik dalam penalaran finansial. Mereka bisa menganalisis pola, melakukan backtest strategi, mengidentifikasi peluang yang mungkin terlewat oleh analis manusia yang lelah. Bagian itu memang benar-benar membaik, dan saya tidak berpikir siapa pun yang memperhatikan akan menyangkalnya. Tapi penalaran dan eksekusi adalah aktivitas yang benar-benar berbeda, dan saya tidak yakin industri ini sudah sepenuhnya menyerap implikasi dari celah itu begitu modal mulai bergerak melalui sistem tanpa peninjauan manusia.
Ini hal yang tidak nyaman. Saat sebuah model menghasilkan ide perdagangan, itu adalah sebuah keluaran. Ia berada di spreadsheet, di dasbor, di suatu notifikasi. Seseorang melihatnya, menggunakan pertimbangan, dan memutuskan apakah akan bertindak. Manusia adalah pemutus arus, apakah mereka menyadarinya atau tidak. Keraguan mereka, sikap meragukan lagi, bahkan kelelahan mereka—semuanya adalah bentuk gesekan (friction) yang memperlambat proses dengan cara yang kadang-kadang mencegah kesalahan.
Hapus manusia dari loop dan hubungkan model langsung ke eksekusi, dan tiba-tiba Anda bukan cuma menanyakan apakah model itu akurat. Anda menanyakan apakah itu aman. Itu bukan pertanyaan yang sama.
Keamanan, dalam konteks ini, sebenarnya bukan tentang model sama sekali. Ini tentang apa yang diizinkan model untuk dilakukan, siapa yang menetapkan izin tersebut, apakah izin itu bisa diubah tanpa ada yang menyadarinya, dan apa yang terjadi ketika model menemukan jalur menuju tujuannya yang tetap secara teknis berada dalam batasnya, tetapi melanggar maksud di balik batas itu. Sebuah model bisa sangat akurat dan tetap tidak aman. Ia bisa mengidentifikasi peluang dengan benar, sambil membuat keputusan penentuan ukuran yang sangat tidak sesuai dengan konteks tempat ia beroperasi. Ia bisa mengikuti aturannya dengan tepat sambil menciptakan hasil yang sebenarnya tidak pernah diinginkan siapa pun.
Ini tempat perhatian saya terus kembali: ke infrastruktur eksekusi, bukan kapabilitas model. Karena kalau infrastrukturnya dibangun dengan baik, model sama sekali tidak perlu dipercaya. Yang perlu dilakukan hanya menerapkan batas-batas yang sudah ditetapkan sebelumnya, mencatat semuanya yang terjadi di dalam batas tersebut, dan memastikan model tidak bisa diam-diam memperluas izin dirinya seiring waktu. Itu bukan masalah AI. Itu masalah desain sistem yang lama, membosankan, yang sekarang menjadi relevan secara mendesak.
Saya kira kira-kira begitulah yang coba diatasi Newton Protocol melalui arsitektur rollup-nya—bukan dengan membuat model lebih pintar, melainkan dengan menciptakan lingkungan di mana eksekusi itu sendiri bisa diverifikasi dan dibatasi di lapisan settlement, bukan dengan mempercayai setiap agen individual untuk berperilaku sebagaimana mestinya. Apakah implementasinya bisa bertahan diuji hanya waktu dan kondisi pasar nyata yang bisa menjawab. Tapi cara menempatkan masalahnya terasa lebih jujur dibanding kebanyakan hal yang pernah saya lihat di ruang ini, karena ia mengakui sesuatu yang biasanya diabaikan oleh siklus hype. Model yang lebih pintar membuat keputusan yang lebih baik rata-rata, tetapi infrastrukturnya yang menentukan apakah keputusan buruk menjadi kerugian yang terkurung atau berubah menjadi rangkaian keruntuhan (cascade).
Sudut pandang pasar menambah lapisan lain yang tidak bisa saya hentikan untuk dipikirkan. Ketika pengembang bisa menerapkan agen yang digunakan oleh orang lain, pertanyaan tentang izin menjadi semakin penting. Pengguna akhir mungkin tidak memahami batas apa yang ditetapkan, atau apakah batas apa pun memang ditetapkan. Mereka mungkin mengira ada batasan hanya karena agen itu dikemas secara profesional dan punya antarmuka yang rapi. Asumsi itu, jika salah, adalah jenis kerentanan yang sunyi—yang baru terlihat ketika kita menoleh ke belakang.
Saya tidak tahu apakah ada cara membuat pasar seperti itu benar-benar bisa dipercaya sejak awal. Mungkin tidak. Kepercayaan pada infrastruktur keuangan cenderung terkumpul perlahan dan cepat terkikis, dan prosesnya tidak bisa benar-benar dipercepat hanya karena teknologinya bergerak lebih cepat.
Yang terus saya pikirkan adalah ini. Percakapan tentang AI di bidang keuangan hampir sepenuhnya berfokus pada apa yang bisa dipikirkan model. Bagaimana mereka menganalisis, bagaimana mereka bernalar, bagaimana mereka mengungguli tolok ukur manusia. Tapi kecerdasan tidak pernah menjadi batasan yang paling menentukan bagi hasil keuangan yang baik. Batasan yang paling menentukan selalu tentang apakah sistem yang mengeksekusi keputusan dibangun dengan cukup hati-hati untuk menangani apa yang terjadi saat kecerdasan gagal—dan itu pada akhirnya pasti terjadi, karena pada akhirnya selalu terjadi di pasar.
Mungkin masa depan AI di bidang keuangan bukan tentang membangun agen yang bisa berpikir lebih baik lagi. Mungkin lebih tentang mencari cara agar agen-agen itu diizinkan untuk mengeksekusi, siapa yang memverifikasi tindakannya, dan infrastruktur seperti apa yang masih bisa dipercaya ketika sistem otonom mulai membuat keputusan yang benar-benar menggerakkan nilai.
Saya tidak punya jawabannya. Saya tidak yakin siapa pun sudah memilikinya.
