Google kembangkan AI baru bernama Reformer

Google dilaporkan mengembangkan sebuah AI baru bernama Reformer. Sistem AI baru ini kabarnya sengaja dibuat sebagai solusi dari tantangan utama bahasa yang dihasilkan oleh AI. 

Untuk diketahui, tantangan utama sistem bahasa yang dihasilkan oleh AI adalah konteks di seputar konten yang dihasilkan. AI harus dapat mengerti konteks bahasa yang dihasilkan. Masalahnya, butuh  memori yang besar agar AI dapat melakukan hal tersebut. 

Hal itulah yang terjadi di Transformer, AI yang juga dikembangkan Google. Transformer dapat membandingkan dan mengerti satu paragraf dengan paragraf lainnya. Namun transformer butuh memori yang sangat besar. Karenanya Transformer tidak cocok ketika digunakan untuk memproses artikel atau buku. 

Kehadiran Reformer akan menjawab permasalahan tersebut. Model baru ini kabarnya mampu mengerti konteks dari 1 juta kalimat hanya dengan memori sebesar 16GB. Google mendesain Reformer untuk memecahkan masalah dari rentang perhatian dan konsumsi memori dari model lama. Model baru ini menggunakan locality-sensitive-hashing (LSH). 

Dilansir dari The Next Web, ketimbang membandingkan kata satu sama lain, model ini menggunakan fungsi hash untuk menyatukan kata-kata yang mirip dalam satu kategori, kemudian membandingkan kata-kata tersebut, entah di kelompok yang sama, maupun antar kategori lainnya. Cara ini diklaim dapat mengurangi kelebihan proses AI itu. 

Sementara untuk masalah tersebut, peneliti memiliki lapisan residu yang menggunakan aktivasi dari satu lapisan dan menggunakannya di lapisan lainnya. Untuk menguji model ini, Google melatih Reformer dengan sejumlah gambar dan AI tersebut membuat gambar penuh dari potongan-potongan gambar tersebut. 

Google mengklaim model baru ini dapat dengan mudah memproses buku. Hal ini dipandang membuka potensi baru yang sangat besar untuk memproses buku yang jauh lebih tebal.