Alibaba rilis LLM open-source dengan ragam kapasitas untuk komunitas open-source

Alibaba Cloud telah mengumumkan ketersediaan Large Language Models (LLM) open source. Ada dua model ini adalah Qwen-72B dan Qwen-1.8B, masing-masing adalah versi 72 miliar parameter dan 1,8 miliar parameter dari model fondasi milik Alibaba, Tongyi Qianwen, di komunitas model AI mereka, ModelScope, dan platform AI kolaboratif, Hugging Face.

Perusahaan teknologi asal Tiongkok tersebut juga menyediakan lebih banyak LLM multimodal termasuk Qwen-Audio dan Qwen-Audio-Chat, versi model pemahaman audio yang telah dilatih sebelumnya dan penyempurnaan percakapan, untuk tujuan penelitian dan komersial.

Alibaba Cloud diinformasikan telah berkontribusi untuk menyediakan berbagai ukuran LLM dengan parameter mulai dari 1,8B, 7B, 14B hingga 72B, serta LLM multimodal dengan fitur pemahaman audio dan visual.

"Membangun ekosistem open-source sangat penting untuk mendorong pengembangan LLM dan aplikasi AI. Kami bercita-cita menjadi cloud paling terbuka dan membuat kemampuan AI generatif dapat diakses oleh semua orang," kata CTO Alibaba Cloud, Jingren Zhou.

Dengan pelatihan sebelumnya yang dilakukan pada lebih dari 3 triliun token, model 72 miliar parameter ini mengungguli model-model open-source utama lainnya dalam sepuluh benchmark, antara lain termasuk benchmark untuk Massive Multi-task Language Understanding (MMLU) yang mengukur akurasi model multitask, HumanEval yang menguji kemampuan generasi kode, dan GSM8K, benchmark untuk masalah aritmetika.

Model ini juga menunjukkan kemahirannya dalam menangani berbagai perintah rumit, termasuk bermain peran dan transfer gaya bahasa, yang merujuk pada kemampuan LLM untuk mengambil peran atau persona tertentu dan menghasilkan respons yang lebih relevan secara kontekstual sesuai dengan persona tersebut. Fitur seperti ini dapat berguna dalam aplikasi AI seperti chatbot yang dipersonalisasi.

Perusahaan dan lembaga penelitian dapat mengakses kode model Qwen-72B, bobot model, dan dokumentasi serta menggunakannya secara gratis untuk tujuan penelitian. Untuk penggunaan komersial, model tersebut akan gratis digunakan untuk perusahaan dengan pengguna bulanan aktif yang kurang dari 100 juta.

Alibaba Cloud juga mengumumkan bahwa mereka telah menyediakan secara open source model LLM berparameter 1,8 miliar yang dapat berjalan pada edge. LLM kelas ringan ini memungkinkan inferensi pada perangkat edge dengan sumber daya komputasi terbatas, membuatnya memungkinkan untuk diterapkan pada perangkat seperti ponsel.

Versi yang berukuran lebih kecil dengan kebutuhan sumber daya komputasi yang lebih rendah ini dapat berguna bagi individu yang mencari opsi yang lebih hemat biaya dan mudah diterapkan dalam menggunakan LLM. Model 1,8B saat ini hanya tersedia untuk tujuan penelitian.