MediaTek menipu kita dan mereka bangga melakukannya

Kecurangan bisa terjadi di mana saja dan dalam situasi apa saja, termasuk juga di dunia smartphone. Kita sudah mengenal ada banyak aplikasi benchmark yang digunakan untuk mengukur kemampuan smartphone dalam deretan angka-angka. Semakin tinggi angkanya, maka semakin baik performa smartphone tersebut, dan secara khusus prosesor di dalamnya. 

Hal inilah yang ternyata dimanfaatkan untuk dapat memberikan hasil tinggi pada hasil benchmark. Kasus kecurangan ini sebenarnya bukan lagi menjadi rahasia. Beberapa smartphone pernah dituduh mencurangi hasil benchmark. Tujuannya, supaya produk mereka memiliki nilai tinggi dalam hasil pengujian sintetis itu. 

Namun fakta terbaru dari Anandtech (10/4) mengungkapkan, kecurangan itu pada dasarnya bukan berasal dari vendor smartphone, melainkan vendor chipset di dalamnya. Selama ini, vendor smartphone kerap dituduh mencurangi hasil benchmark dengan mekanisme khususnya. Nyatanya, temuan Anandtech berkata lain. 

Dalam pengujian smartphone dengan dua dengan chipset berbeda, yakni MediaTek Helio P95 dan MediaTek Dimensity 1000L, Anandtech menemukan sebuah keanehan. Helio P95 berhasil mengungguli Dimensity 1000L dalam hasil pengujian menggunakan PCMark. 

Hal ini menjadi aneh karena Dimensity 1000L merupakan chipset paling baru yang dimiliki MediaTek, tidak seperti P95. Malahan, Dimensity 1000L sudah menggunakan Cortex-A77 yang semestinya lebih baik dari Cortex-A75 yang dimiliki Helio P95. 

Saat benchmark dilakukan kembali menggunakan PCMark versi anonim (yang tidak bisa dikenali smartphone), terdapat perbedaan hasil sebesar 30% untuk skor keseluruhan dan hingga 75% untuk subjek penting dalam pengujian tersebut. 

Jawaban pun ditemukan ketika firmware perangkat itu dibongkar. Ada sebuah file dengan nama power_whitelist_cfg.xml yang ditemukan di folder /vendor/etc di smartphone. Di dalam file itu, terdapat banyak daftar aplikasi dengan kustomisasi performa untuk masing-masing aplikasi. Nah, aplikasi-aplikasi inilah yang kita kenal dengan aplikasi benchmark.

Beberapa aplikasi  yang sering digunakan untuk mengukur smartphone antara lain, PCMark, Geekbench, Antutu, 3DBench, Androbench 2 hingga aplikasi benchmark asal Tiongkok, yakni AIBench dan AI Benchmark. Pada semua aplikasi itu diterapkan power management dengan nama Sports Mode. 

Yang dilakukan Sports Mode ini adalah memperbaiki beberapa karakter DVFS (Dynamic Voltage and Frequency Scaling). Ini merupakan istilah untuk penyesuaian pengaturan tenaga dan kecepatan komputasi pada berbagai perangkat, seperti prosesor dan chip untuk mengoptimalkan alokasi sumber daya untuk tugas-tugas dan memaksimalkan penghematan daya ketika sumber daya tersebut tidak diperlukan. Artinya, Sports Mode ini akan memaksa CPU untuk bekerja di frekuensi tinggi dalam waktu lama, setidaknya sampai proses benchmark selesai. 

Parahnya, hal ini ternyata tidak terjadi di MediaTek Helio P95 saja. Beberapa serinya juga diketahui memiliki file power_whitelist_cfg.xml seperti pada Helio P95. Di antaranya adalah Helio P90, P70, P60, P65, G90, G70, A22 hingga P20. 

Dari beberapa daftar yang dijabarkan Anandtech, Sony termasuk di dalam salah satu smartphone yang menggunakan Helio P20. Padahal, Anandtech mengklaim kalau Sony merupakan salah satu vendor yang jauh dari isu kecurangan selama ini.

Berikut ini beberapa daftar dukungan Sports Mode pada aplikasi benchmark di berbagai chipset buatan MediaTek: 

Lantas apa jawaban MediaTek

Dilansir dari AnandTech (10/4), MediaTek menyatakan bahwa pihaknya telah mengikuti standar industri ini dan yakin bahwa hasil benchmark itu mampu mewakili kemampuan chipset buatannya secara akurat. 

Berikut kutipan lengkap pernyataan MediaTek: 

MediaTek mengikuti standar industri yang diterima dan yakin bahwa tes benchmark itu mewakili kemampuan chipset kami dengan akurat. Kami bekerja dengan pembuat smartphone global untuk kebutuhan tes dan benchmark perangkat yang menggunakan chipset kami, tetapi setiap brand memiliki fleksibilitas untuk mengatur perangkat mereka sendiri sesuai kebutuhannya. Beberapa perusahaan mengatur agar perangkat berjalan dengan performa setinggi mungkin ketika diuji benchmark untuk menunjukkan kemampuan penuh dari chipset. Ini mengungkapkan batas atas kemampuan yang dimiliki setiap chipset. 

Tentu saja, dalam skenario penggunaan sehari-hari ada banyak faktor yang akan menentukan bagaimana kinerja chipset. Chipset MediaTek dirancang untuk mengoptimalkan daya dan kinerja untuk memberikan pengalaman pengguna sebaik mungkin sambil memaksimalkan masa pakai baterai. Jika seseorang menjalankan program komputer yang intensif, seperti gim, chipset akan secara cerdas beradaptasi dengan pola komputasi untuk memberikan kinerja berkelanjutan. Ini berarti, setiap pengguna akan melihat perbedaan performa dari setiap aplikasi yang berbeda karena chipset mengelola sumber daya CPU, GPU dan memori secara dinamis sesuai dengan performa dan daya yang diperlukan untuk pengalaman pengguna yang lebih baik. Selain itu, beberapa merek memiliki berbagai jenis mode yang aktif di wilayah yang berbeda sehingga performa perangkat dapat bervariasi berdasarkan persyaratan pasar regional. 

Kami percaya bahwa menampilkan kemampuan penuh chipset dalam pengujian benchmark sejalan dengan praktik perusahaan lain dan memberikan gambaran akurat tentang kinerja perangkat. 

Apapun alasannya, mencurangi hasil benchmark tidak bisa dibenarkan begitu saja. Apalagi aplikasi benchmark seperti PCMark yang memang sengaja dibuat untuk melihat seberapa baik performa sebuah chipset dan smartphone dalam menangani tugas sehari-hari. Toh, dalam penggunaan sehari-hari, tidak mungkin prosesor dipaksa terus menerus untuk bekerja dengan frekuensi tinggi, bukan?

Jika melihat daftar di atas, kemungkinan kami juga termasuk yang tertipu oleh Mediatek saat menguji Realme 6 dan Realme 6 Pro.