Ini cara blokir crawler di situs milik kalian

Penggunaan teknologi kecerdasan buatan (AI) saat ini sudah sangat luas. Bukan hanya digunakan mencari informasi, mencari gambar, dan lainnya, AI juga digunakan untuk melakukan crawling data di situs web.

Hal ini menimbulkan sebuah kecemasan bagi para pengguna internet, dimana sudah lelah informasi mengenai diri mereka di internet sudah banyak diambil tanpa sepengetahuan. Melihat kecemasan ini, Cloudflare mengumumkan sebuah fitur baru yang bisa mencegah hal ini terjadi.

Fitur yang satu ini dapat ditanam di website pengguna akan memiliki fitur untuk mencegah bot mengambil data dari situs web yang dihosting di platformnya guna melatih model AI. 

Hal ini dikarenakan beberapa vendor AI, termasuk Google, OpenAI, dan Apple, mengizinkan pemilik situs web untuk memblokir bot yang mereka gunakan untuk pengikisan data dan pelatihan model dengan mengubah robots.txt situs mereka, yaitu berkas teks yang memberi tahu bot halaman mana yang dapat mereka akses di situs web. 

Namun, seperti yang ditunjukkan Cloudflare dalam sebuah posting yang mengumumkan alat penanggulangan botnya, tidak semua pengikisan AI mematuhi hal ini.

"Pelanggan tidak ingin bot AI mengunjungi situs web mereka, terutama yang melakukannya secara tidak jujur," tulis Cloudflare di blog resminya. "Kami khawatir beberapa perusahaan AI yang berniat menghindari aturan untuk mengakses konten akan terus beradaptasi untuk menghindari deteksi bot."

Cara kerja dari fitur ini adalah dengan menganalisis lalu lintas bot AI dan crawler untuk menyempurnakan model deteksi bot otomatis. Model tersebut mempertimbangkan antara lain apakah bot AI mungkin mencoba menghindari deteksi dengan meniru penampilan dan perilaku seseorang yang menggunakan peramban web.

"Ketika pelaku kejahatan mencoba merayapi situs web dalam skala besar, mereka biasanya menggunakan alat dan kerangka kerja yang dapat kami sidik jarinya," tulis Cloudflare. "Berdasarkan sinyal ini, model kami [dapat] menandai lalu lintas dari bot AI yang sulit dideteksi sebagai bot."

Cloudflare juga telah menyiapkan formulir bagi host untuk melaporkan dugaan bot dan perayap AI dan mengatakan bahwa mereka akan terus memasukkan bot AI ke dalam daftar hitam secara manual seiring berjalannya waktu.

Masalah bot AI menjadi jelas terlihat seiring maraknya AI generatif yang memicu permintaan terhadap data pelatihan model.

Dalam sebuah laporan, dari 1.000 situs teratas, 26 persen diantaranya sudah melakukan pemblokiran scraper dan crawler AI yang berbasis bot OpenAI. Di laporan lainnya juga menyebutkan 600 penerbit berita telah memblokir tersebut.