Di balik tipu-tipu benchmark Huawei dan Honor

Beberapa smartphone Huawei dan Honor dihapus dari daftar benchmark Futuremark. Smartphone yang dihapus adalah Huawei P20 Pro, Huawei P20, Huawei Nova 3, dan Honor Play. Artinya, empat smartphone tersebut tidak bisa ditemukan lagi di datar hasil benchmark 3DMark yang tersedia untuk publik.

Bukan tanpa alasan Futuremark menghapus hasil benchmark empat smartphone tersebut. Dalam keterangan resmi yang diterima Tek.id, Kamis (6/9), Futuremark melakukan hal tersebut karena Huawei dan Honor telah bermain curang dengan cara meningkatkan performa perangkatnya secara signifikan hanya ketika aplikasi benchmark tertentu dijalankan.

Benchmark sendiri merupakan sebuah kegiatan pengujian performa sebuah perangkat. Situs seperti Tek.id dan media lainnya menggunakan aplikasi khusus untuk menguji performanya, salah satunya adalah 3DMark besutan Futuremark. Aplikasi tersebut akan menjalankan berbagai model pengujian yang telah diskenariokan secara khusus agar dekat dengan pengalaman penggunaan sehari-hari.

Praktik kecurangan Huawei dan Honor mulanya ditemukan AnandTech yang melaporkan adanya kejanggalan pada skor aplikasi benchmark 3DMark dan GFXBench di beberapa smartphone Huawei serta Honor. Setelah diteliti lebih lanjut, Huawei dan Honor ternyata sengaja menyisipkan sistem khusus yang bisa mendeteksi aplikasi benchmark. 

Ketika aplikasi benchmark dijalankan, performa perangkat tidak akan dibatasi, meski dampak yang ditimbulkan cukup parah, yaitu suhu perangkat naik secara drastis serta konsumsi daya yang lebih besar. Ini membuat perangkat Huawei dan Honor bisa menghasilkan skor benchmark lebih tinggi, bahkan hampir dua kali lipat dari semestinya.

Kenapa bisa terbongkar?

AnandTech mengetahui praktik ini setelah menguji beberapa perangkat Huawei dan Honor secara intensif menggunakan 3DMark dan GFXBench versi khusus yang memungkinkan sistem di smartphone tidak mendeteksi aplikasi tersebut sebagai aplikasi benchmark. Hasilnya, beberapa smartphone, seperti Huawei P20 Pro dan Honor Play menghasilkan skor benchmark jauh lebih kecil dibandingkan ketika menggunakan aplikasi benchmark yang tersedia untuk publik.

Itu artinya, Huawei dan Honor sengaja melakukan sesuatu di perangkatnya yang membuat aplikasi benchmark berjalan di performa maksimal. Parahnya, AnandTech mengatakan, Huawei dan Honor hanya mendaftarkan aplikasi benchmark saja ke dalam sistem deteksinya tersebut. Aplikasi seperti gim, video editor, media sosial, dan yang lainnya tetap akan berjalan dengan performa yang dibatasi.

Dengan demikian, bisa disimpulkan bahwa demi kegiatan pemasarannya Huawei dan Honor sengaja membuat perangkatnya terlihat lebih unggul di aplikasi benchmark. Mengapa keduanya tidak membiarkan aplikasi berjalan di kondisi serupa, yaitu tidak dibatasi performanya?

Demi kegiatan pemasarannya Huawei dan Honor sengaja membuat perangkatnya terlihat lebih unggul di aplikasi benchmark.

AnandTech menemukan bahwa mode dengan performa yang tidak dibatasi ini akan bisa membahayakan perangkat. Mode tersebut membuat suhu operasional dan konsumsi dayanya tidak dibatasi. 

Artinya, perangkat akan dipaksa berjalan, meski suhu dan konsumsi dayanya melebihi batas penggunaan. Bahkan, di satu sesi, perangkat Honor Play yang diuji AnandTech sempat berhenti bekerja karena suhunya terlalu tinggi. Bisa disimpulkan bahwa mode "performa" ini tidak stabil dan tidak cocok digunakan di kegiatan sehari-hari. 

Tanggapan Huawei

Sebelum merilis informasi mengenai praktik curang ini, AnandTech sudah mengonfirmasi hal tersebut langsung kepada President of Software Huawei Consumer Business Group, Dr. Wang Chengdu. Awalnya, Dr. Wang mengatakan, aplikasi benchmark tidak merefleksikan penggunaan sehari-hari. Bahkan, Dr. Wang ingin aplikasi benchmark memiliki standar yang mencerminkan skenario penggunaan perangkat sehari-hari.

Namun hal tersebut ditepis AnandTech yang mengatakan, aplikasi benchmark seperti 3DMark dan GFXBench justru bisa menggambarkan skenario penggunaan sehari-hari dengan sangat baik. Memang ada aplikasi benchmark yang kurang bagus, seperti AnTuTu yang tidak konsisten dengan skornya. 

Lagipula, kasus kali ini adalah soal Huawei yang sengaja "memanipulasi" performa khusus untuk aplikasi benchmark. Alasan tersebut seharusnya tidak bisa diterima.

Selanjutnya, Dr. Wang mengatakan pihaknya sudah bekerjasama dengan berbagai pihak untuk mengembangkan aplikasi benchmark yang terstandardisasi dengan baik. Meski demikian, di sela-sela pembicaraannya dengan AnandTech, Dr. Wang mengatakan Huawei tidak bisa "tinggal diam" dengan praktik curang yang dilakukan para pesaingnya. Ya, ternyata praktik manipulasi benchmark ini juga dilakukan vendor lainnya.

Tidak sampai di situ, Dr. Wang bahkan menyebutkan salah satu vendor smartphone besar dari China juga melakukan hal yang sama, yaitu membuat performa perangkat tidak dibatasi ketika menjalankan aplikasi benchmark. Sayangnya, AnandTech tidak mau membeberkan nama vendor tersebut.

Samsung juga pernah curang

Tidak hanya Huawei dan Honor, Samsung ternyata juga pernah tersandung skandal yang serupa. Pada perangkat Galaxy S4 yang menggunakan chipset Exynos, Samsung dengan sengaja mendaftarkan aplikasi benchmark dan memperlakukannya secara khusus ketika dijalankan. Alhasil, perangkat tersebut terlihat lebih kencang di beberapa aplikasi benchmark.

Setelah ketahuan, Samsung akhirnya menghadirkan fitur baru yang memungkinkan penggunanya untuk mengakses mode performa tersebut melalui sebuah antarmuka khusus. Dengan demikian, para penguji perangkat bisa mencantumkan apakah benchmark sedang dijalankan di mode performa atau tidak, dan hasil benchmark menjadi lebih transparan.

Efek buruk curangi benchmark

Mungkin Anda adalah tipe pengguna yang tidak terlalu peduli dengan benchmark. "Toh, smartphone saya masih bisa berjalan dengan lancar," mungkin Anda akan berkata seperti itu.

Memang benar, aplikasi benchmark tidak perlu digunakan dalam penggunaan sehari-hari dan kemungkinan besar Anda masih nyaman ketika menggunakan perangkat tersebut. Tapi, kita tak bisa meremehkan fakta bahwa Huawei dan Honor telah membohongi publik dengan memanipulasi perangkat mereka, sehingga skor benchmark bisa menjadi jauh lebih tinggi dari yang seharusnya.

Mengapa mereka melakukan hal tersebut? Tentu saja untuk materi pemasaran karena ketika berbicara mengenai sebuah performa smartphone, benchmark merupakan cara yang paling mudah dan tepat untuk menggambarkannya. Melalui benchmark, pengguna bisa tahu seberapa bagus performa sebuah perangkat dibandingkan dengan yang lainnya.

Apa jadinya jika skor benchmark pun sudah bisa dimanipulasi? Yang dirugikan tentu saja pengguna Pengguna akan dirugikan karena mereka tidak akan mendapatkan performa yang seharusnya digambarkan melalui skor benchmark yang telah dimanipulasi tersebut.

Di sisi lain, media seperti tek.id turut menyebarkan kebohongan karena membuat review berdasarkan hasil skor yang sudah dimanipulasi.

Praktik ini bisa membawa efek buruk bagi ekosistem industri smartphone. Vendor lain yang awalnya jujur mau tidak mau akan menggunakan cara yang sama agar perangkatnya tidak kalah di pasar dan pada akhirnya menjadi lingkaran setan yang sulit diobati.

Media seperti tek.id turut menyebarkan kebohongan karena membuat review berdasarkan hasil skor yang sudah dimanipulasi.

Pihak AnandTech mengatakan, cara Huawei salah besar. Bukannya menjadi pionir dan menghadirkan hasil benchmark secara jujur, mereka malah mengikuti vendor curang dengan alasan tidak ingin kalah. Ketika semuanya terungkap seperti yang terjadi saat ini, Huawei justru dirugikan atas keputusannya tersebut.

Brand sebesar Huawei seharusnya menjaga namanya dan menghindar dari praktik curang, bukan ikut melakukannya.