Block, het betalingsbedrijf onder leiding van Jack Dorsey, is de stem-AI-race ingegaan met een ongewoon gewaagde claim. Donderdag onthulde het interne onderzoekslaboratorium van het bedrijf Dessa, een spraak-naar-spraak-model dat volgens Block helemaal opnieuw is getraind op niets anders dan menselijke gesprekken - geen tekst, geen transcripties en geen voorgetrainde basismodellen eronder.
"Voor zover wij weten is Dessa 's werelds eerste AI waarmee je een realistisch live gesprek kunt voeren, die alleen is getraind op basis van menselijke spraak", zegt Block op de officiële pagina van het model, die de release beschrijft als "een onderzoeksvoorbeeld van een full-duplex spraakmodel." Het bedrijf publiceert live demo-opnames, opent een openbare wachtlijst en verleent vroegtijdige toegang aan een kleine groep AI-veiligheidsonderzoekers. Voor meer context over dit verhaal, zie ons laatste AI-ontwikkelingen.
Wat Dessa eigenlijk is
Dessa is wat onderzoekers een full-duplex spraak-naar-spraak-model noemen: audio in, audio uit, zonder tekstlaag ertussen. Dat laatste onderdeel is de differentiator. Vrijwel elke reguliere stemassistent – inclusief de stemmodi die aan de grootste chatbots zijn gekoppeld – converteert uw spraak naar tekst, redeneert erover en spreekt een antwoord terug. Block betoogt dat pijplijn het grootste deel van wat menselijke gesprekken menselijk maakt, weggooit.
"Interactie met de huidige stem-AI kan gewoonweg waardeloos zijn", aldus de aankondiging van het bedrijf. "Het verandert je stem in tekst en gooit een ongelooflijke hoeveelheid informatie weg die tekst alleen niet kan dragen. De krachtigste AI's ter wereld kunnen niet horen hoe je je voelt. Wij vinden dat belachelijk, leidt tot een slechtere ervaring en is potentieel gevaarlijk."
Omdat Dessa nooit tekst doorneemt, zegt Block dat het van nature emoties, sarcasme, gelach, een gefrustreerde zucht of een stem die kraakt van verdriet oppikt – de paralinguïstische signalen die op tekst gebaseerde systemen doorgaans negeren.
Full-duplex betekent dat het praat als een persoon, en niet als een bot die beurtelings werkt
Het tweede bepalende kenmerk is de full-duplex werking. Dessa luistert en praat tegelijkertijd, zoals mensen dat doen, in plaats van te wachten op een gedetecteerd einde van de uiting voordat ze reageert. Volgens Block heeft het model uit echte gesprekken geleerd wanneer het moet ingrijpen, wanneer het moet backchannelen om te laten zien dat het meegaat, en wanneer het stil moet blijven.
De demo's op de bedrijfspagina illustreren gedrag dat niemand expliciet heeft geprogrammeerd. In één fragment lacht Dessa midden in een zin op het moment dat iets grappig wordt - 'zoals mensen dat doen', merkt Block op, in contrast met conventionele stemassistenten die 'wachten tot je klaar bent en dan lachen wanneer dat nodig is'. In een andere vraagt een gebruiker het model om iets te zeggen en wordt het luider. "Niemand heeft het dat geleerd", zegt het bedrijf. In een derde geval vult de persoon een filmtitel in en maakt Dessa de zin voor hem af.
Block let er ook op dat de herkomst van een bijzonder opvallende demo wordt gemarkeerd, waarin Dessa een live gesprek voert met een ander AI-systeem. "In deze demo praat Dessa met GPT-Live-1, een AI-model van een derde partij. Beide stemmen zijn door AI gegenereerd", zegt de pagina, waarbij wordt opgemerkt dat de ontwikkelaar van GPT-Live-1 niet is aangesloten bij Block en Dessa niet heeft beoordeeld of onderschreven.
Waarom overgeslagen tekst volledig blokkeren
Het trainen van een model zonder tekst is een bewuste keuze. Het standpunt van Block is dat spraak geen verliesgevende verpakking rond taal is; het is het primaire medium, en een model dat opgroeit met onbewerkt geluid kan mogelijkheden en faalwijzen ontwikkelen die door tekst geschoolde systemen niet hebben.
Het bedrijf zelf beschouwt de wetenschappelijke voordelen als open vragen in plaats van vaste resultaten: hoe efficiënt leren spraakmodellen taal en feiten in vergelijking met tekstgestuurde systemen? Hoe efficiënt kunnen ze nieuwe talen leren? Welke soorten in-context leren kunnen ze uitvoeren? "Dessa verlegt de grenzen van deep learning-modellen en creëert een andere categorie met geheel nieuw en interessant gedrag dat onderzoekers kunnen ontdekken", luidt de aankondiging.
Er schuilt ook een pragmatische claim in het veld. Block zegt dat de gevolgtrekking van Dessa sneller is dan in realtime, dus de antwoorden komen zonder de ongemakkelijke pauzes waar turn-based stemassistenten last van hebben, en – volgens berichtgeving door Unite.AI over de lancering – dat het model lokaal draait op consumentenhardware die net zo capabel is als een MacBook Pro met een M4 Max-chip of beter. Als dit klopt, zou een lokaal werkend full-duplex spraakmodel opmerkelijk zijn op een moment waarop de meeste concurrerende spraak-AI cloudgebonden blijft.
Een "GPT-3 moment voor spraak"
Ragavan Thurairatnam, die het AI-onderzoekslaboratorium van Block leidt, beschreef Dessa als het eerste AI-model dat een realistisch gesprek kan voeren na een volledige training op spraak, en noemde de release "een GPT3-moment voor spraak", aldus Unite.AI's rapport over de aankondiging. De vergelijking is treffend: het debuut van GPT-3 in 2020 leverde niet meteen bruikbare producten op, maar het herformuleerde wat taalmodellen konden doen en zette de huidige investeringscyclus op gang.
The Verge, die verslag deed van de lancering, beschreef het resultaat als een model dat "met je praat als een ongemakkelijke nieuwe vriend" - een suggestieve samenvatting van demofragmenten waarin Dessa van verbazing naar adem snakt "oh mijn god", of op persoonlijk nieuws reageert met wat klinkt als betraande dankbaarheid. Of deze maniertjes een echt begrip weerspiegelen of een verfijnde patroonreproductie, is precies het soort vraag dat Block wil dat de onderzoeksgemeenschap onderzoekt.
De veiligheidshoek komt op de eerste plaats — voor één keer
Opvallend is dat Block Dessa niet rechtstreeks naar consumenten verzendt. De release is een voorproefje van het onderzoek: de opnames zijn openbaar, er is een wachtlijst open, maar praktische vroege toegang is beperkt tot een kleine groep AI-veiligheidsonderzoekers. Gezien de voortdurende bezorgdheid over oplichting met stemklonen en emotioneel manipulatieve AI-metgezellen, is een spraakmodel dat emoties kan uiten (en vermoedelijk opwekken) precies het soort systeemveiligheidsteams die willen evalueren voordat ze op grote schaal worden ingezet.
Block zegt dat er de komende dagen meer opnames op X zullen worden gedeeld. Het bedrijf heeft geen prijzen, API-toegang of integratieplannen aangekondigd voor zijn Square-, Cash App- of Bitkey-producten.
De open vragen
Dessa's lancering landt in een druk veld. Elk groot AI-lab levert nu een stemmodus, en startups zijn al twee jaar bezig met het pushen van realtime spraakmodellen. Wat Dessa onderscheidt is het trainingsrecept – pure spraak, geen tekst – en de bewering dat opkomend conversatiegedrag zoals lachen in het midden van een zin ontstond zonder expliciete instructie.
Sceptici zullen onafhankelijke evaluatie willen. Kan een tekstvrij model feitelijk feiten op betrouwbare wijze leren, of hallucineert het vrijer zonder de basis van geschreven taal? Kan het zonder transcripties naar nieuwe talen worden geschaald? De eigen pagina van Block nodigt precies deze vragen uit, namelijk vertrouwen of een openhartige erkenning dat niemand – inclusief Block – de antwoorden nog weet.
Voorlopig is Dessa een onderzoeksartefact met een wachtlijst. Maar als alleen-spraaktraining concurrerend blijkt te zijn met op tekst gebaseerde pijplijnen, heeft Block misschien een van de interessantere contraire weddenschappen in de moderne AI naar voren gebracht: dat de snelste route naar natuurlijke machinegesprekken het bouwen van machines is die leren zoals wij dat deden: door te luisteren.
---
Blijf Voorop met AIHet laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.
Lees meer AI-nieuws →
