Intel Gaudi 3 hadir dengan akselerasi AI yang lebih baik

Intel akhirnya meluncurkan AI Accelerator generasi berikutnya, Gaudi 3. Produk yang satu ini didasarkan teknologi fabrikasi 5nm dan bersaing langsung dengan GPU H100 NVIDIA.

Seperti diketahui, akselerator Intel Gaudi AI telah menjadi pesaing besar dan satu-satunya alternatif GPU NVIDIA di segmen AI. Produk generasi sebelumnya, Gaudi 2 dapat bersaing dengan GPU NVIDIA dengan ketat.

Intel memperkenalkan akselerator Intel Gaudi 3 AI pada tanggal 9 April 2024 di acara Intel Vision di Phoenix, Arizona. Produk ini dirancang untuk memberikan pilihan bagi perusahaan global untuk AI generatif, yang memanfaatkan kinerja dan skalabilitas pendahulunya, Gaudi 2.

Gaudi 3 hadir dengan total 64 inti tensor yang dikemas dalam dua cetakan komputasi. GPU itu sendiri memiliki kumpulan cache 96 MB yang dibagikan ke kedua cetakan dan terdapat delapan papan HBM, masing-masing menampilkan 8 tumpukan DRAM HBM2e 16Gb untuk kapasitas hingga 128 GB & bandwidth hingga 3,7 TB/s.

Seluruh chip dibuat menggunakan teknologi fabrikasi TSMC 5nm dan terdapat total 24 tautan interkoneksi 200GbE.

Dalam hal jajaran produk, akselerator Intel Gaudi 3 AI akan hadir dalam faktor bentuk Mezzanine OAM (HL-325L) dengan standar hingga 900W dan varian berpendingin cairan lebih dari 900W & PCIe AIC dengan tinggi penuh, lebar ganda dan Desain panjang 10,5". 

Gaudi 3 HL-338 akan hadir dalam pendingin pasif dan mendukung TDP hingga 600W dengan spesifikasi yang sama dengan varian OAM.

Perusahaan itu juga mengumumkan teknologi HLB-325 dan subsistem terintegrasi HLFB-325L yang dapat membawa hingga 8 akselerator Gaudi 3. Sistem ini memiliki TDP gabungan sebesar 7,6 Kilowatt & berukuran 19 inci.

Sedangkan untuk varian tertinggi hadir dalam seri Falcon Shores yang diharapkan tersedia pada tahun 2025 dan akan menggabungkan IP Gaudi dan Xe dalam satu antarmuka pemrograman GPU yang dibangun berdasarkan spesifikasi Intel oneAPI.

Intel Gaudi 3 AI juga disebut menghadirkan komputasi AI 4x untuk BF16, peningkatan bandwidth memori 1,5x, dan bandwidth jaringan 2x untuk perluasan sistem secara besar-besaran dibandingkan pendahulunya. Hal ini merupakan sebuah lompatan signifikan dalam kinerja dan produktivitas untuk pelatihan dan inferensi AI pada model bahasa besar (LLM) dan model multimodal yang populer.

Akselerator Intel Gaudi 3 akan memenuhi persyaratan ini dan menawarkan keserbagunaan melalui perangkat lunak berbasis komunitas terbuka dan Ethernet standar industri terbuka, membantu bisnis secara fleksibel menskalakan sistem dan aplikasi AI mereka.

Akselerator Intel Gaudi 3 dirancang untuk komputasi AI skala besar yang efisien, diproduksi dengan teknologi fabrikasi 5 nm dan menawarkan kemajuan signifikan dibandingkan pendahulunya. Hal ini dirancang untuk memungkinkan aktivasi semua mesin secara paralel — dengan Matrix Multiplication Engine (MME), Tensor Processor Cores (TPCs), dan Networking Interface Cards (NICs) — memungkinkan akselerasi yang diperlukan untuk komputasi dan penskalaan deep learning yang cepat dan efisien. Fitur utama meliputi:

Akselerator Intel Gaudi 3 juga disebut dibuat khusus untuk komputasi GenAI berperforma tinggi dan berefisiensi tinggi. Setiap akselerator secara unik dilengkapi mesin komputasi heterogen yang terdiri dari 64 TPC khusus AI dan dapat diprogram serta delapan MME. 

Setiap Intel Gaudi 3 MME mampu melakukan 64.000 operasi paralel yang mengesankan, memungkinkan efisiensi komputasi tingkat tinggi, menjadikannya mahir dalam menangani operasi matriks yang kompleks, suatu jenis komputasi yang penting bagi algoritma pembelajaran mendalam. Desain unik ini mempercepat kecepatan dan efisiensi operasi AI paralel dan mendukung berbagai jenis data, termasuk FP8 dan BF16.

Kapasitas memori HBMe2 juga mencapai 128 GB dengan bandwidth memori sebesar 3,7TB serta memori akses acak statis (SRAM) on-board sebesar 96MB dimana menyediakan memori yang cukup untuk memproses GenAI yang besar kumpulan data pada Intel Gaudi 3 yang lebih sedikit, khususnya berguna dalam melayani model bahasa besar dan multimodal, sehingga menghasilkan peningkatan kinerja beban kerja dan efisiensi biaya pusat data.

Hadir juga dukungan dua puluh empat port Ethernet 200 Gb yang diintegrasikan ke dalam setiap akselerator Intel Gaudi 3, menyediakan jaringan yang fleksibel dan berstandar terbuka. Mereka memungkinkan penskalaan yang efisien untuk mendukung cluster komputasi besar dan menghilangkan vendor lock-in dari struktur jaringan berpemilik. Akselerator Intel Gaudi 3 dirancang untuk meningkatkan dan memperluas skala secara efisien dari satu node menjadi ribuan untuk memenuhi persyaratan model GenAI yang luas.

Perangkat Lunak Industri Terbuka untuk Produktivitas Pengembang: Perangkat lunak Intel Gaudi mengintegrasikan kerangka kerja PyTorch dan menyediakan model berbasis komunitas Hugging Face yang dioptimalkan – kerangka kerja AI paling umum untuk pengembang GenAI saat ini. Hal ini memungkinkan pengembang GenAI untuk beroperasi pada tingkat abstraksi tinggi untuk kemudahan penggunaan dan produktivitas serta kemudahan porting model di seluruh jenis perangkat keras.

Gaudi 3 PCIe merupakan tambahan interkoneksi komponen periferal Gaudi 3 (PCIe). Dirancang untuk menghadirkan efisiensi tinggi dengan daya yang lebih rendah, faktor bentuk baru ini ideal untuk beban kerja seperti fine-tuning, inferensi, dan retrieval-augmented generation (RAG). Dilengkapi dengan faktor bentuk penuh 600 watt, dengan kapasitas memori 128 GB dan bandwidth 3,7 TB per detik.

Intel memperkenalkan akselerator AI Gaudi 3 pada tanggal 9 April 2024, di acara Intel Vision di Phoenix, Arizona. Akselerator ini menghadirkan komputasi AI 4x untuk BF16 dan peningkatan bandwidth memori 1,5x dibandingkan pendahulunya.

Akselerator Intel Gaudi 3 akan memberikan peningkatan kinerja yang signifikan untuk tugas pelatihan dan inferensi pada model GenAI terkemuka. Secara khusus, akselerator Intel Gaudi 3 diproyeksikan memberikan hasil rata-rata dibandingkan NVIDIA H100:

Waktu pelatihan 50% lebih cepat  pada parameter Llama2 7B dan 13B, serta model parameter GPT-3 175B.
Throughput inferensi 50% lebih cepat  dan  efisiensi daya inferensi 40% lebih besar  di seluruh parameter Llama 7B dan 70B, serta model parameter Falcon 180B. Keuntungan kinerja inferensi yang lebih besar pada rangkaian masukan dan keluaran yang lebih panjang.
Inferensi 30% lebih cepat pada parameter Llama 7B dan 70B, serta model parameter Falcon 180B terhadap NVIDIA H200.

Akselerator Intel Gaudi 3 akan tersedia bagi produsen peralatan asli (OEM) pada kuartal kedua tahun 2024 dalam konfigurasi standar industri Universal Baseboard dan modul akselerator terbuka (OAM). Di antara pengadopsi OEM terkemuka yang akan membawa Gaudi 3 ke pasar adalah Dell Technologies, HPE, Lenovo, dan Supermicro. 

Ketersediaan umum akselerator Intel Gaudi 3 diperkirakan akan tersedia pada kuartal ketiga tahun 2024, dan kartu tambahan Intel Gaudi 3 PCIe diperkirakan akan tersedia pada kuartal terakhir tahun 2024.

Intel memperkenalkan akselerator Intel Gaudi 3 AI pada tanggal 9 April 2024, di acara Intel Vision di Phoenix, Arizona. Akselerator AI dirancang untuk meruntuhkan batasan kepemilikan guna memberikan pilihan bagi pasar AI generatif perusahaan. 

Akselerator Intel Gaudi 3 juga akan mendukung beberapa infrastruktur cloud LLM yang hemat biaya untuk pelatihan dan inferensi, menawarkan keunggulan harga-kinerja dan pilihan bagi organisasi yang kini menyertakan NAVER.