Block, perusahaan pembayaran yang dipimpin oleh Jack Dorsey, telah memasuki perlombaan AI suara dengan klaim yang sangat berani. Pada hari Kamis, laboratorium penelitian internal perusahaan tersebut meluncurkan Dessa, model pidato-ke-ucapan yang menurut Block dilatih dari awal hanya dalam percakapan manusia – tanpa teks, tanpa transkrip, dan tidak ada model dasar yang telah dilatih sebelumnya di bawahnya.
“Sejauh yang kami tahu, Dessa adalah AI pertama di dunia yang memungkinkan Anda melakukan percakapan langsung secara realistis dan hanya dilatih dari ucapan manusia,” kata Block di halaman resmi model tersebut, yang menggambarkan rilis tersebut sebagai “pratinjau penelitian model ucapan dupleks penuh.” Perusahaan ini menerbitkan rekaman demo langsung, membuka daftar tunggu publik, dan memberikan akses awal kepada sekelompok kecil peneliti keamanan AI. For more context on this story, see our ongoing artificial intelligence updates.
Apa Sebenarnya Dessa Itu
Dessa inilah yang oleh para peneliti disebut sebagai model ucapan-ke-ucapan dupleks penuh: audio masuk, audio keluar, tanpa lapisan teks di antaranya. Bagian terakhir itulah yang menjadi pembeda. Hampir setiap asisten suara arus utama — termasuk mode suara yang terpasang pada chatbot terbesar — mengubah ucapan Anda menjadi teks, menjelaskannya, dan mengucapkan balasannya. Block berpendapat bahwa saluran pipa menghilangkan sebagian besar hal yang membuat percakapan manusia menjadi manusiawi.
“Berinteraksi dengan AI suara saat ini sungguh menyebalkan,” demikian pengumuman perusahaan. "Ia mengubah suara Anda menjadi teks dan membuang sejumlah besar informasi yang tidak dapat dibawa oleh teks saja. AI paling kuat di dunia tidak dapat mendengar perasaan Anda. Kami pikir itu konyol, menyebabkan pengalaman yang lebih buruk, dan berpotensi berbahaya."
Karena Dessa tidak pernah membaca teks, Block mengatakan bahwa teks tersebut menangkap emosi, sarkasme, tawa, desahan frustrasi, atau suara yang pecah karena kesedihan – sinyal paralinguistik yang biasanya dibuang oleh sistem berbasis teks.
Full-Duplex Berarti Berbicara Seperti Orang, Bukan Bot Pengambil Giliran
Ciri penentu kedua adalah operasi dupleks penuh. Dessa mendengarkan dan berbicara pada saat yang sama, seperti yang dilakukan orang lain, daripada menunggu akhir ucapan sebelum merespons. Menurut Block, model tersebut belajar dari percakapan nyata kapan harus menyela, kapan harus melakukan backchannel untuk menunjukkan bahwa ia mengikuti, dan kapan harus diam.
Demo di halaman perusahaan menggambarkan perilaku yang tidak diprogram secara eksplisit oleh siapa pun. Dalam satu klip, Dessa tertawa di tengah kalimat saat sesuatu menjadi lucu - "seperti yang dilakukan orang-orang," kata Block, membandingkannya dengan asisten suara konvensional yang "menunggu Anda selesai, lalu tertawa sesuai isyarat." Di kasus lain, pengguna meminta model untuk angkat bicara dan suaranya menjadi lebih keras. "Tidak ada yang mengajarkan hal itu," kata perusahaan itu. Yang ketiga, orang tersebut mengosongkan judul film dan Dessa menyelesaikan kalimatnya.
Block juga berhati-hati dalam menandai asal dari salah satu demo yang sangat menarik, di mana Dessa mengadakan percakapan langsung dengan sistem AI lainnya. "Dalam demo ini, Dessa berbicara dengan GPT-Live-1, model AI pihak ketiga. Kedua suara tersebut dihasilkan oleh AI," kata halaman tersebut, sambil mencatat bahwa pengembang GPT-Live-1 tidak berafiliasi dengan Block dan belum meninjau atau mendukung Dessa.
Mengapa Memblokir Teks yang Dilewati Sepenuhnya
Melatih model tanpa teks sama sekali adalah pilihan yang disengaja. Block berpandangan bahwa ucapan bukanlah sebuah pembungkus yang tidak dapat dipahami dalam bahasa — ini adalah media utama, dan model yang berkembang pada suara mentah dapat mengembangkan kemampuan dan mode kegagalan yang tidak dimiliki oleh sistem yang dilatih dengan teks.
Perusahaan itu sendiri membingkai sisi ilmiahnya sebagai pertanyaan terbuka, bukan hasil yang pasti: seberapa efisien model yang hanya menggunakan ucapan mempelajari bahasa dan fakta dibandingkan dengan sistem yang dilatih dengan teks? Seberapa efisien mereka mempelajari bahasa baru? Pembelajaran dalam konteks seperti apa yang dapat mereka lakukan? “Dessa memajukan model pembelajaran mendalam dan menciptakan kategori berbeda dengan perilaku yang benar-benar baru dan menarik untuk ditemukan oleh para peneliti,” demikian bunyi pengumuman tersebut.
Ada juga klaim pragmatis yang terkubur di dalamnya. Block mengatakan inferensi Dessa berjalan lebih cepat daripada waktu nyata, sehingga balasan datang tanpa jeda canggung yang mengganggu asisten suara berbasis giliran, dan — menurut liputan Unite.AI saat peluncuran — bahwa model tersebut berjalan secara lokal pada perangkat keras konsumen berkemampuan seperti MacBook Pro dengan chip M4 Max atau lebih baik. Jika akurat, model suara dupleks penuh yang dijalankan secara lokal akan menjadi hal yang penting pada saat sebagian besar AI suara yang kompetitif masih terikat pada cloud.
A "Momen Pidato GPT-3"
Ragavan Thurairatnam, yang memimpin laboratorium penelitian AI Block, menggambarkan Dessa sebagai model AI pertama yang dapat melakukan percakapan realistis setelah pelatihan sepenuhnya tentang pidato, dan menyebut rilis tersebut sebagai "momen pidato GPT3," menurut laporan Unite.AI tentang pengumuman tersebut. Perbandingannya sangat jelas: peluncuran GPT-3 pada tahun 2020 tidak serta merta menghasilkan produk yang bermanfaat, namun mengubah fungsi model bahasa dan mengawali siklus investasi saat ini.
The Verge, yang meliput peluncuran tersebut, menggambarkan hasilnya sebagai model yang "berbicara kepada Anda seperti teman baru yang canggung" - ringkasan klip demo yang menggugah di mana Dessa terengah-engah "ya Tuhan" karena terkejut, atau menanggapi berita pribadi dengan apa yang terdengar seperti rasa terima kasih yang berlinang air mata. Apakah tingkah laku tersebut mencerminkan pemahaman yang tulus atau reproduksi pola yang canggih adalah pertanyaan yang menurut Block ingin diselidiki oleh komunitas riset.
Sudut Keamanan Menjadi Prioritas — Sekali Ini
Khususnya, Block tidak mengirimkan Dessa langsung ke konsumen. Rilis ini merupakan pratinjau penelitian: rekaman bersifat publik, daftar tunggu terbuka, namun akses awal langsung dibatasi hanya untuk sekelompok kecil peneliti keamanan AI. Mengingat kekhawatiran yang terus berlanjut tentang penipuan kloning suara dan pendamping AI yang manipulatif secara emosional, model ucapan yang dapat mengekspresikan – dan mungkin menimbulkan – emosi adalah jenis yang ingin dievaluasi oleh tim keamanan sistem sebelum penerapan massal.
Block mengatakan lebih banyak rekaman akan dibagikan di X dalam beberapa hari mendatang. Perusahaan belum mengumumkan harga, akses API, atau rencana integrasi untuk produk Square, Cash App, atau Bitkey.
Pertanyaan Terbuka
Peluncuran Dessa mendarat di lapangan yang ramai. Setiap laboratorium AI besar kini menyediakan mode suara, dan perusahaan rintisan telah mendorong model ucapan real-time selama dua tahun. Yang membedakan Dessa adalah resep pelatihannya — ucapan murni, tanpa teks — dan klaim bahwa perilaku percakapan yang muncul seperti tawa di tengah kalimat muncul tanpa instruksi eksplisit.
Orang yang skeptis menginginkan evaluasi independen. Bisakah model tanpa teks benar-benar mempelajari fakta dengan andal, atau apakah model tersebut berhalusinasi lebih bebas tanpa dasar bahasa tertulis? Bisakah ini diperluas ke bahasa baru tanpa transkrip? Halaman Block sendiri mengundang pertanyaan-pertanyaan ini, yang bisa berupa keyakinan atau pengakuan jujur bahwa tidak ada seorang pun – termasuk Block – yang mengetahui jawabannya.
Untuk saat ini, Dessa merupakan artefak penelitian dengan daftar tunggu. Namun jika pelatihan yang hanya menggunakan ucapan terbukti mampu bersaing dengan saluran berbasis teks, Block mungkin telah memunculkan salah satu taruhan pelawan yang lebih menarik dalam AI modern: bahwa rute tercepat menuju percakapan mesin alami adalah dengan membuat mesin yang belajar seperti yang kita lakukan — dengan mendengarkan.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
