ChatGPT sudah dukung voice chat dan pertanyaan berbasis gambar

ChatGPT telah mendapatkan beberapa update signifikan yang memungkinkannya menangani perintah suara dan pertanyaan berbasis gambar. Pengguna akan dapat melakukan percakapan suara dengan ChatGPT di Android dan iOS dan memasukkan gambar ke dalamnya di semua platform.

Dilansir dari Gizmochina (26/9), saat ini fitur terbaru tersebut sudah tersedia untuk pelanggan Plus dan Enterprise. Namun nantinya fitur itu akan tersedia untuk diakses untuk semua orang.

Pengguna harus mengaktifkan percakapan suara di aplikasi ChatGPT, dengan cara pergi ke Settings kemudian New Features, jika ingin mencobanya. Dengan mengetuk tombol mikrofon, pengguna dapat memilih dari lima suara berbeda.

OpenAI mengatakan percakapan suara dua arah tersebut didukung oleh model text-to-speech baru yang dapat menghasilkan "audio mirip manusia hanya dari teks dan contoh ucapan beberapa detik." Ini menciptakan lima suara dengan bantuan aktor profesional. Sebaliknya, sistem pengenalan suara Whisper milik OpenAI mengubah kata-kata yang diucapkan pengguna menjadi teks.

ChatGPT can now see, hear, and speak. Rolling out over next two weeks, Plus users will be able to have voice conversations with ChatGPT (iOS & Android) and to include images in conversations (all platforms). https://t.co/uNZjgbR5Bm pic.twitter.com/paG0hMshXb — OpenAI (@OpenAI) September 25, 2023

Fungsi berbasis gambar juga menarik sangat. OpenAI mengatakan pengguna misalnya dapat menunjukkan foto pemanggang kepada chatbot AI dan bertanya mengapa pemanggang tidak menyala, memintanya membantu merencanakan makanan berdasarkan sekilas apa yang ada di lemari es, atau memintanya untuk menyelesaikan soal matematika.

OpenAI menggunakan GPT-3.5 dan GPT-4 untuk mendukung fitur pengenalan gambar. Untuk menggunakan fungsi berbasis gambar ChatGPT, ketuk tombol foto (pengguna harus mengetuk tombol plus terlebih dahulu di iOS atau Android) untuk mengambil foto atau memilih gambar yang ada di perangkat. Pengguna juga dapat bertanya kepada ChatGPT tentang beberapa foto dan menggunakan alat menggambar untuk fokus pada bagian tertentu dari gambar.

Di sisi lain, OpenAI mencatat potensi bahaya. Ada kemungkinan pelaku kejahatan meniru suara tokoh masyarakat (dan masyarakat biasa) dan mungkin melakukan penipuan. Itu sebabnya OpenAI berfokus pada percakapan suara ChatGPT dengan teknologi ini dan bekerja sama dengan mitra terpilih pada kasus penggunaan terbatas lainnya.

Sedangkan untuk gambar, OpenAI bekerja dengan Be My Eyes, sebuah aplikasi gratis yang dapat digunakan oleh penyandang tunanetra dan rabun untuk membantu mereka lebih memahami lingkungan sekitar berkat sukarelawan yang melakukan panggilan video dengan mereka.

ChatGPT lebih efektif dalam memahami teks bahasa Inggris dalam gambar dibandingkan bahasa lainnya. OpenAI mengatakan chatbot tersebut "berperforma buruk" dalam bahasa lain untuk saat ini, terutama ketika menggunakan skrip non-Romawi. Oleh karena itu, disarankan agar pengguna non-Inggris menghindari penggunaan ChatGPT untuk menangani teks dalam gambar untuk saat ini.