Alibaba rilis LLM open-source dengan ragam kapasitas untuk komunitas open-source

Alibaba Cloud telah mengumumkan ketersediaan Large Language Models (LLM) open source. Ada dua model ini adalah Qwen-72B dan Qwen-1.8B, masing-masing adalah versi 72 miliar parameter dan 1,8 miliar parameter dari model fondasi milik Alibaba, Tongyi Qianwen, di komunitas model AI mereka, ModelScope, dan platform AI kolaboratif, Hugging Face.

Perusahaan teknologi asal Tiongkok tersebut juga menyediakan lebih banyak LLM multimodal termasuk Qwen-Audio dan Qwen-Audio-Chat, versi model pemahaman audio yang telah dilatih sebelumnya dan penyempurnaan percakapan, untuk tujuan penelitian dan komersial.

Alibaba Cloud diinformasikan telah berkontribusi untuk menyediakan berbagai ukuran LLM dengan parameter mulai dari 1,8B, 7B, 14B hingga 72B, serta LLM multimodal dengan fitur pemahaman audio dan visual.

"Membangun ekosistem open-source sangat penting untuk mendorong pengembangan LLM dan aplikasi AI. Kami bercita-cita menjadi cloud paling terbuka dan membuat kemampuan AI generatif dapat diakses oleh semua orang," kata CTO Alibaba Cloud, Jingren Zhou.

Dengan pelatihan sebelumnya yang dilakukan pada lebih dari 3 triliun token, model 72 miliar parameter ini mengungguli model-model open-source utama lainnya dalam sepuluh benchmark, antara lain termasuk benchmark untuk Massive Multi-task Language Understanding (MMLU) yang mengukur akurasi model multitask, HumanEval yang menguji kemampuan generasi kode, dan GSM8K, benchmark untuk masalah aritmetika.