Model AI capai akurasi 98% dalam mengumpulkan intelijen ancaman dari dark web
Sistem yang dikembangkan menggunakan model GPT-3.5-turbo dari OpenAI ini menginstruksikan LLM untuk merangkum percakapan dan mengekstraksi sepuluh variabel intelijen ancaman.
Sebuah penelitian terbaru dari Université de Montréal dan Flare Systems mengungkapkan bahwa model bahasa besar (LLM) dapat mencapai akurasi 98% dalam mengekstrak intelijen ancaman siber (CTI) dari forum kejahatan siber. Temuan ini dipublikasikan dalam makalah putih yang menunjukkan potensi signifikan AI dalam meningkatkan keamanan siber.
Dilansir dari Cybersecurity News (11/8), tim peneliti yang dipimpin oleh Vanessa Clairoux-Trépanier dan Isa-May Beauchamp menganalisis data dari tiga forum terkemuka: XSS, Exploit.in, dan RAMP. “Kami bertujuan untuk mengevaluasi seberapa efektif LLM dalam mengumpulkan informasi penting mengenai ancaman siber yang berkembang,” ujar Clairoux-Trépanier.
Sistem yang dikembangkan menggunakan model GPT-3.5-turbo dari OpenAI ini menginstruksikan LLM untuk merangkum percakapan dan mengekstraksi sepuluh variabel intelijen ancaman, termasuk organisasi yang menjadi target dan kerentanan yang dapat dieksploitasi. Hasilnya, dua pengkode manusia menemukan bahwa LLM mencapai tingkat akurasi antara 95% hingga 100% untuk setiap variabel yang diteliti.
“Temuan ini menunjukkan bahwa LLM dapat menggantikan analis ancaman tingkat pertama dalam mengidentifikasi informasi penting dari forum kejahatan siber,” jelas Beauchamp. “Dengan demikian, teknologi ini dapat meningkatkan efisiensi dan kapasitas intelijen ancaman siber.”
Meskipun hasilnya positif, penelitian ini juga mencatat perlunya perbaikan, seperti kemampuan LLM dalam membedakan antara informasi historis dan peristiwa terkini. Para peneliti menekankan bahwa kinerja LLM sudah sangat mendekati kinerja analis manusia.