Sering disebut rakus daya, peneliti temukan solusi boros energi mesin LLM
Salah satu tantangan menjalankan mesin Large Language Model adalah penggunaan daya yang besar. Namun, para peneliti ini menemukan cara untuk mengatasinya.
Kemampuan dari Large Language Model (model bahasa besar; LLM) yang menggerakkan chatbot seperti ChatGPT, Gemini, dan lainnya memang sangatlah hebat. Namun, dibalik kehebatan kemampuan teknologi tersebut, terdapat biaya yang harus dibayarkan, yakni penggunaan daya yang sangat besar.
Hal ini wajar mengingat untuk mengasah kemampuan LLM, perusahaan harus menggunakan server berukuran besar dengan banyak komponen pendukung. Namun, adakah solusi yang dapat diadopsi para perusahaan untuk mengurangi pengguna daya dari server mereka?
Ternyata, para peneliti dari University of California, Santa Cruz, punya solusinya. Mereka memamerkan bahwa model bahasa modern dengan miliaran parameter dapat beroperasi hanya dengan 13 watt daya tanpa mengurangi kinerjanya.
Ini berarti, penggunaan daya ini sama dengan penggunaan daya lampu 100W, dimana meningkatkan efisiensi daya sebanyak 50 kali jika dibandingkan dengan GPU NVIDIA H100 yang khusus untuk AI, dimana mengkonsumsi 700W.
Dilansir dari laman Digitaltrends (27/6), para peneliti berhasil mendapatkan efisiensi ini dengan hanya mengubah fundamental cara kerja Neural Network. Mereka menghilangkan matriks perkalian dalam jaringan saraf.