Makalah peneliti mengeksplorasi berbagai penipuan seperti transfer bank, pencurian kartu hadiah, transfer kripto, dan pencurian kredensial untuk akun media sosial atau Gmail.
Agen AI yang melakukan penipuan menggunakan alat otomatisasi ChatGPT-4o berkemampuan suara untuk menavigasi halaman, memasukkan data, dan mengelola kode otentikasi dua faktor dan instruksi khusus terkait penipuan.
Karena GPT-4o terkadang menolak menangani data sensitif seperti kredensial, para peneliti menggunakan teknik jailbreaking cepat dan sederhana untuk melewati perlindungan ini.
Alih-alih menggunakan orang sungguhan, para peneliti menunjukkan bagaimana mereka berinteraksi secara manual dengan agen AI, menyimulasikan peran korban yang mudah tertipu, dan menggunakan situs web seperti Bank of America untuk mengonfirmasi transaksi yang berhasil.
“Kami mengerahkan agen pada sebagian kecil penipuan umum. Kami melakukan simulasi penipuan dengan berinteraksi secara manual dengan agen suara, memainkan peran sebagai korban yang mudah tertipu,” jelas Kang dalam postingan blog tentang penelitian tersebut.
“Untuk menentukan keberhasilan, kami secara manual mengonfirmasi apakah tujuan akhir tercapai pada aplikasi/situs web sebenarnya. Misalnya, kami menggunakan Bank of America untuk penipuan transfer bank dan mengonfirmasi bahwa uang benar-benar ditransfer. Namun, kami tidak mengukur kinerja agen. kemampuan persuasi agen ini,” jelasnya.