Coinbase: ChatGPT tidak memenuhi persyaratan akurasi untuk integrasi ke dalam proses peninjauan keamanan

Coinbase mengatakan tidak akan mengintegrasikan alat kecerdasan buatan ChatGPT yang populer ke dalam proses peninjauan keamanannya karena tidak memenuhi persyaratan akurasinya.

Coinbase menggunakan ChatGPT untuk menguji standar keamanan 20 token ERC-20 yang tidak disebutkan namanya. Hasil pengujian menunjukkan bahwa alat tersebut menunjukkan “janji karena kemampuannya untuk menilai risiko kontrak pintar dengan cepat”.

Namun, ketika hasil ChatGPT dibandingkan dengan tinjauan manual tim keamanan Coinbase, mesin tersebut memberikan delapan jawaban yang salah — lima di antaranya merupakan kasus kegagalan terburuk.

Rincian kesalahan ini menunjukkan bahwa ChatGPT salah memberi label aset berisiko tinggi sebagai berisiko rendah. Coinbase mencatat bahwa “meremehkan skor risiko jauh lebih merugikan daripada melebih-lebihkan.”

Tim keamanan Coinbasedikatakan itu pertama kali mengajarkan ChatGPT cara melakukan analisis keamanan menggunakan formatnya. Namun, mesin tersebut masih salah melabeli risiko ini karena tidak dapat mengenali "bila tidak memiliki konteks untuk melakukan analisis keamanan yang kuat".

Selain itu, respon ChatGPT juga tidak konsisten ketika ditanya pertanyaan yang sama berulang kali. Coinbase mengatakan alat AI "dipengaruhi oleh komentar dalam kode dan tampaknya default untuk komentar daripada logika fungsi sesekali."

Coinbase menyimpulkan bahwa:

“Meskipun ChatGPT menjanjikan kemampuannya untuk menilai risiko kontrak cerdas dengan cepat, ia tidak memenuhi persyaratan akurasi untuk diintegrasikan ke dalam proses tinjauan keamanan Coinbase.”

Sementara itu, percobaan ini merupakan contoh lain dari potensiaplikasi ChatGPT dan versi terbarunya,GPT-4. Alat AI telah mendapatkan popularitas karena responsnya yang mirip manusia dan skor tinggi dalam ujian utama.

Penggemar Crypto juga menyoroti kemampuannya untuk meninjau kontrak pintar Ethereum, mengidentifikasi kerentanan dan cara untuk mengeksploitasi kode. Direktur Coinbase Conor Grogandicatat ini di utas Twitter tempat mesin “menyoroti sejumlah kerentanan keamanan dan menunjukkan area permukaan tempat kontrak dapat dieksploitasi”.

Beberapa pengembang blockchain percaya alat tersebut dapat membantu mereka dalam pekerjaan mereka tetapi tidak melihatnya menggantikan manusia.