Teknologi ini bisa bantu GPU lebih kencang lakukan pelatihan AI

Salah satu batasan yang ada di industri GPU saat ini adalah masalah jumlah VRAM yang bisa digunakan di sebuah GPU. Hal ini mempengaruhi kinerja GPU secara umum, baik di performa gaming atau workload lain seperti AI learning.

Namun, para peneliti dari Panmnesia tampaknya sudah menemukan solusi untuk keterbatasan dua teknologi tersebut. Mereka tengah mengembangkan teknologi bernama Compute Express Link, atau CXL, yang memungkinkan GPU memanfaatkan sumber daya memori eksternal melalui antarmuka PCIe.

Sekedar informasi, Panmnesia adalah perusahaan yang didukung oleh lembaga penelitian KAIST Korea Selatan.

Digital Trends (8/7) melaporkan, GPU entry level saat ini, seperti NVIDIA RTX 4060 memiliki keterbatasan VRAM bawaannya yang hanya 8GB. Keterbatasan ini menghambat kinerja untuk tugas-tugas yang membutuhkan banyak memori seperti pelatihan AI, analisis data, dan permainan beresolusi tinggi. 

Oleh karena itu, kehadiran CXL yang mampu memanfaatkan koneksi PCIe untuk mengakses RAM yang ada di sebuah perangkat komputer, server, atau laptop dapat mengatasi keterbatasan tersebut.

Metode ini menyediakan opsi ekspansi memori dengan latensi rendah, dengan metrik kinerja yang menunjukkan peningkatan signifikan dibandingkan metode tradisional. Menurut laporan, teknologi baru ini berhasil mencapai latensi nanodetik dua digit, yang merupakan pengurangan substansial dibandingkan dengan solusi berbasis SSD standar.

Selain itu, teknologi ini tidak terbatas pada RAM tradisional saja. SSD juga dapat digunakan untuk memperluas memori GPU, sehingga menawarkan solusi yang serbaguna dan dapat diskalakan. Kemampuan ini memungkinkan terciptanya sistem memori hibrida yang menggabungkan kecepatan RAM dengan kapasitas SSD, sehingga semakin meningkatkan kinerja dan efisiensi.

Meskipun CXL beroperasi pada teknologi PCIe, mengintegrasikan teknologi ini dengan GPU tidaklah mudah. ​​GPU tidak memiliki struktur logika dan subsistem CXL yang diperlukan untuk mendukung titik akhir DRAM atau SSD. Oleh karena itu, hanya menambahkan pengontrol CXL saja tidak cukup untuk mengoptimalkan teknologi tersebut.

Sistem cache dan memori GPU hanya mengenali perluasan melalui Unified Virtual Memory (UVM). Akan tetapi, pengujian yang dilakukan oleh Panmnesia mengungkapkan bahwa UVM memiliki kinerja terburuk di antara kernel GPU yang diuji karena overhead dari intervensi host runtime selama kesalahan halaman dan transfer data yang tidak efisien di tingkat halaman.

Untuk mengatasi masalah tersebut, Panmnesia mengembangkan serangkaian lapisan perangkat keras yang mendukung semua protokol CXL, yang dikonsolidasikan ke dalam pengontrol terpadu. Kompleks root yang sesuai dengan CXL 3.1 ini mencakup beberapa port root untuk memori eksternal melalui PCIe dan jembatan host dengan dekoder memori perangkat yang dikelola host. 

Dekoder ini terhubung ke bus sistem GPU dan mengelola memori sistem, menyediakan akses langsung ke penyimpanan yang diperluas melalui instruksi muat/simpan, yang secara efektif menghilangkan masalah UVM.

Implikasi dari teknologi ini juga sangat luas. Untuk AI dan machine learning, kemampuan untuk menambah lebih banyak memori berarti menangani kumpulan data yang lebih besar secara lebih efisien, mempercepat waktu pelatihan, dan meningkatkan akurasi model. Dalam permainan, pengembang dapat mendorong batasan ketepatan dan kompleksitas grafis tanpa dibatasi oleh keterbatasan VRAM.

Untuk pusat data dan lingkungan komputasi awan, teknologi CXL Panmnesia menyediakan cara yang hemat biaya untuk meningkatkan infrastruktur yang ada. Dengan memasang memori tambahan melalui PCIe, pusat data dapat meningkatkan daya komputasinya tanpa memerlukan perombakan perangkat keras yang ekstensif.

Meskipun memiliki potensi, Panmnesia menghadapi tantangan besar dalam mendapatkan adopsi di seluruh industri. Kartu grafis terbaik dari AMD dan Nvidia tidak mendukung CLX, dan mungkin tidak akan pernah mendukungnya.

Ada juga kemungkinan besar bahwa pelaku industri akan mengembangkan teknologi memori terpasang PCIe mereka sendiri untuk GPU. Meskipun demikian, inovasi Panmnesia merupakan langkah maju dalam mengatasi hambatan memori GPU, dengan potensi untuk memengaruhi komputasi dan permainan berperforma tinggi secara signifikan.