Block, betalningsföretaget som leds av Jack Dorsey, har gått in i röst-AI-racet med ett ovanligt djärvt påstående. På torsdagen avslöjade företagets interna forskningslabb Dessa, en tal-till-tal-modell som Block säger tränades från grunden på inget annat än mänskliga samtal - ingen text, inga utskrifter och inga förtränade grundmodeller under.
"Såvitt vi vet är Dessa världens första AI du kan ha en realistisk livekonversation med som tränades endast från mänskligt tal", säger Block på modellens officiella sida, som beskriver releasen som "en forskningsförhandsvisning av en full-duplex talmodell." Företaget publicerar livedemoinspelningar, öppnar en offentlig väntelista och ger tidig tillgång till en liten grupp AI-säkerhetsforskare. For more context on this story, see our ongoing artificial intelligence updates.
Vad Dessa faktiskt är
Dessa är vad forskare kallar en full-duplex tal-till-tal-modell: ljud in, ljud ut, utan textlager däremellan. Den sista delen är skillnaden. Praktiskt taget alla vanliga röstassistenter – inklusive röstlägen kopplade till de största chatbotarna – konverterar ditt tal till text, resonerar över det och säger ett svar tillbaka. Block hävdar att pipeline kastar bort det mesta av det som gör mänsklig konversation mänsklig.
"Att interagera med nuvarande röst AI kan helt enkelt suga," står det i företagets tillkännagivande. "Den förvandlar din röst till text och kastar bort en otrolig mängd information som text ensam inte kan bära. De mest kraftfulla AI:erna i världen kan inte höra hur du känner. Vi tycker att det är löjligt, leder till en sämre upplevelse och är potentiellt farligt."
Eftersom Dessa aldrig går igenom text, säger Block att den naturligt tar upp känslor, sarkasm, skratt, en frustrerad suck eller en röst som sprakar av sorg - de paralingvistiska signaler som textbaserade system vanligtvis förkastar.
Full-duplex betyder att den pratar som en person, inte en vändande bot
Den andra definierande egenskapen är full-duplex-drift. Dessa lyssnar och pratar på samma gång, som människor gör, snarare än att vänta på ett upptäckt slut på yttrandet innan de svarar. Enligt Block lärde sig modellen av riktiga konversationer när den ska bryta in, när den ska backa för att visa att den följer med och när den ska vara tyst.
Demos på företagets sida illustrerar beteenden som ingen uttryckligen programmerat. I ett klipp skrattar Dessa mitt i meningen i samma ögonblick som något blir roligt - "så som människor gör", konstaterar Block, och kontrasterar detta med konventionella röstassistenter som "väntar på att du ska slutföra och sedan skratta på kö." I en annan frågar en användare modellen att säga ifrån och det blir högre. "Ingen lärde det det", säger företaget. I en tredje blankar personen på en filmtitel och Dessa avslutar meningen för dem.
Block är också noga med att flagga ursprunget till en särskilt iögonfallande demo, där Dessa för en livekonversation med ett annat AI-system. "I den här demon pratar Dessa med GPT-Live-1, en AI-modell från tredje part. Båda rösterna är AI-genererade", står det på sidan och noterar att GPT-Live-1s utvecklare inte är ansluten till Block och inte har granskat eller godkänt Dessa.
Varför blockera överhoppad text helt
Att träna en modell utan text alls är en medveten satsning. Blocks ståndpunkt är att tal inte är ett förlustigt omslag kring språk – det är det primära mediet, och en modell som växer upp på råljud kan utveckla kapaciteter och fellägen som texttränade system inte har.
Företaget själv ramar in den vetenskapliga uppsidan som öppna frågor snarare än avgjorda resultat: hur effektivt lär sig talmodeller språk och fakta jämfört med texttränade system? Hur effektivt kan de lära sig nya språk? Vilka typer av inlärning i sammanhanget kan de utföra? "Dessa flyttar fram gränsen för modeller för djupinlärning och skapar en annan kategori med helt nya och intressanta beteenden för forskare att upptäcka", står det i meddelandet.
Det finns också ett pragmatiskt påstående begravt i planen. Block säger att Dessas slutledning går snabbare än i realtid, så svar kommer utan de besvärliga pauser som plågar turbaserade röstassistenter, och - enligt täckning av Unite.AI av lanseringen - att modellen körs lokalt på konsumenthårdvara lika kapabel som en MacBook Pro med ett M4 Max-chip eller bättre. Om den är korrekt, skulle en lokalt körande full-duplex röstmodell vara anmärkningsvärd i ett ögonblick då den mest konkurrenskraftiga röst-AI förblir molnbunden.
Ett "GPT-3 Moment for Speech"
Ragavan Thurairatnam, som leder Blocks AI-forskningslabb, beskrev Dessa som den första AI-modellen som kan hålla en realistisk konversation efter att ha tränat helt på tal, och kallade releasen "ett GPT3-ögonblick för tal", enligt Unite.AI:s rapport om tillkännagivandet. Jämförelsen är påpekad: GPT-3:s debut 2020 producerade inte omedelbart användbara produkter, men den omformulerade vad språkmodeller kunde göra och startade den nuvarande investeringscykeln.
The Verge, som täckte lanseringen, beskrev resultatet som en modell som "pratar med dig som en obekväm ny vän" - en suggestiv sammanfattning av demoklipp där Dessa flämtar "herregud" av en överraskning, eller svarar på personliga nyheter med vad som låter som tårögd tacksamhet. Huruvida dessa manér återspeglar genuin förståelse eller sofistikerad mönsterreproduktion är just den typ av fråga som Block säger att den vill att forskarsamhället ska undersöka.
Säkerhetsvinkeln kommer först — för en gångs skull
Noterbart är att Block inte skickar Dessa direkt till konsumenterna. Releasen är en förhandsgranskning: inspelningar är offentliga, en väntelista är öppen, men praktisk tidig åtkomst begränsas till en liten grupp AI-säkerhetsforskare. Med tanke på pågående oro för bedrägerier med röstkloning och känslomässigt manipulerande AI-följeslagare, är en talmodell som kan uttrycka – och förmodligen framkalla – känslor exakt den typ av systemsäkerhetsteam vill utvärdera innan massdistribution.
Block säger att fler inspelningar kommer att delas på X under de kommande dagarna. Företaget har inte tillkännagett prissättning, API-åtkomst eller integrationsplaner för sina Square-, Cash App- eller Bitkey-produkter.
De öppna frågorna
Dessas uppskjutning landar på ett trångt fält. Varje större AI-labb levererar nu ett röstläge, och nystartade företag har drivit realtidstalmodeller i två år. Det som utmärker Dessa är dess träningsrecept - rent tal, noll text - och påståendet att framväxande konversationsbeteende som skratt i mitten av meningen uppstod utan explicit instruktion.
Skeptiker kommer att vilja ha oberoende utvärdering. Kan en textfri modell faktiskt lära sig fakta på ett tillförlitligt sätt, eller hallucinerar den friare utan skriftspråkets grund? Kan det skalas till nya språk utan avskrifter? Blocks egen sida bjuder in exakt dessa frågor, vilket antingen är självförtroende eller ett uppriktigt erkännande av att ingen – inklusive Block – vet svaren ännu.
För närvarande är Dessa en forskningsartefakt med en väntelista. Men om träning med enbart tal visar sig vara konkurrenskraftig med textbaserade pipelines kan Block ha dykt upp en av de mer intressanta kontrariska satsningarna inom modern AI: att den snabbaste vägen till naturlig maskinkonversation är att bygga maskiner som lär sig som vi gjorde – genom att lyssna.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
