AI Crawlers serap 65% trafik Wikimedia, ancam akses publik

Wikimedia mengalami peningkatan penggunaan bandwidth hingga 50 persen sejak Januari 2024. Namun, lonjakan ini bukan disebabkan oleh meningkatnya minat manusia dalam mengakses artikel atau multimedia Wikipedia.

AI crawlers, program otomatis yang mengunduh gambar, video, dan artikel berlisensi terbuka dari Wikimedia, menyumbang sebagian besar peningkatan trafik. Dengan bantuan konten ini, model kecerdasan buatan generatif dilatih. 

Bot-bot ini dapat memperlambat akses pengguna, terutama selama peristiwa penting. Halaman Wikimedia dimuat lebih lambat karena kematian Jimmy Carter pada Desember lalu karena minat besar terhadap video debatnya dengan Ronald Reagan, seperti dilaporkan engadget (8/4).

Meskipun Wikimedia bertujuan untuk mengatasi peningkatan trafik manusia, bot scraper menciptakan masalah baru yang belum pernah terjadi sebelumnya. AI crawlers cenderung mengakses halaman-halaman lama yang jarang dikunjungi manusia.

Akibatnya, sistem harus mengambil data dari pusat data utama, yang lebih mahal dan memakan lebih banyak sumber daya. Wikimedia melaporkan bahwa 65 % trafik yang mengonsumsi sumber daya berasal dari bot.

Tim Keandalan Situs Wikimedia harus terus-menerus memblokir bot agar tidak memperlambat akses bagi pengguna manusia. Namun, masalah utama adalah kurangnya atribusi dari penggunaan konten ini, yang dapat menghambat pertumbuhan komunitas Wikimedia.

Oleh karena itu, Wikimedia tengah sedang mencari cara agar pengembang dan pihak lain dapat mengakses kontennya secara lebih berkelanjutan.