Block, firma płatnicza kierowana przez Jacka Dorseya, wkroczyła do wyścigu głosowej sztucznej inteligencji z niezwykle odważnym twierdzeniem. W czwartek wewnętrzne laboratorium badawcze firmy zaprezentowało Dessa, model mowy na mowę, który według Blocka został wytrenowany od podstaw wyłącznie w oparciu o ludzką rozmowę – bez tekstu, bez transkrypcji ani pod spodem żadnych wstępnie wytrenowanych modeli podstawowych.
„O ile nam wiadomo, Dessa to pierwsza na świecie sztuczna inteligencja, z którą można prowadzić realistyczną rozmowę na żywo, wytrenowaną wyłącznie na podstawie ludzkiej mowy” – mówi Block na oficjalnej stronie modelki, która opisuje tę premierę jako „badawczą wersję modelu mowy w trybie pełnego dupleksu”. Firma publikuje nagrania demonstracyjne na żywo, otwiera publiczną listę oczekujących i zapewnia wcześniejszy dostęp małej grupie badaczy bezpieczeństwa sztucznej inteligencji. Więcej kontekstu na ten temat znajdziesz w naszych najnowsze osiągnięcia AI.
Czym właściwie jest Dessa
Dessa to coś, co badacze nazywają pełnodupleksowym modelem mowy na mowę: wejście audio, wyjście audio, bez warstwy tekstowej pomiędzy nimi. Ta ostatnia część to wyróżnik. Praktycznie każdy popularny asystent głosowy — łącznie z trybami głosowymi dołączonymi do największych chatbotów — konwertuje Twoją mowę na tekst, uzasadnia ją i wypowiada odpowiedź. Block twierdzi, że rurociąg odrzuca większość tego, co czyni rozmowę ludzką ludzką.
„Interakcja z obecną sztuczną inteligencją głosową może być po prostu do niczego” – czytamy w oświadczeniu firmy. „Zmienia Twój głos na tekst i wyrzuca niesamowitą ilość informacji, których sam tekst nie jest w stanie unieść. Najpotężniejsza sztuczna inteligencja na świecie nie słyszy, co czujesz. Uważamy, że to niedorzeczne, prowadzi do gorszych wrażeń i jest potencjalnie niebezpieczne”.
Block twierdzi, że Dessa nigdy nie przechodzi przez tekst, ponieważ natywnie wychwytuje emocje, sarkazm, śmiech, sfrustrowane westchnienie lub głos załamujący się ze smutku – sygnały paralingwistyczne, które systemy tekstowe zazwyczaj odrzucają.
Pełny dupleks oznacza, że mówi jak osoba, a nie bot wykonujący turę
Drugą cechą charakterystyczną jest działanie w trybie pełnego dupleksu. Dessa słucha i mówi jednocześnie, tak jak robią to ludzie, zamiast czekać na wykrycie końca wypowiedzi przed udzieleniem odpowiedzi. Według Blocka modelka nauczyła się z prawdziwych rozmów, kiedy się wtrącić, kiedy cofnąć się, aby pokazać, że podąża, a kiedy zachować ciszę.
Demo na stronie firmy ilustruje zachowania, których nikt wprost nie zaprogramował. W jednym z klipów Dessa śmieje się w połowie zdania, gdy coś staje się zabawne – „tak jak ludzie to robią” – zauważa Block, porównując to z konwencjonalnymi asystentami głosowymi, które „czekają, aż skończysz, a potem śmieją się na zawołanie”. W innym przypadku użytkownik prosi modelkę o mówienie, a dźwięk robi się głośniejszy. „Nikt tego nie uczył” – twierdzi firma. W trzeciej osoba pustym miejscu zaznacza tytuł filmu, a Dessa kończy za nią zdanie.
Block stara się również wskazać pochodzenie jednego szczególnie przyciągającego wzrok demo, w którym Dessa prowadzi rozmowę na żywo z innym systemem sztucznej inteligencji. „W tej wersji demonstracyjnej Dessa rozmawia z GPT-Live-1, modelem sztucznej inteligencji innej firmy. Obydwa głosy są generowane przez sztuczną inteligencję” – czytamy na stronie, zauważając, że programista GPT-Live-1 nie jest powiązany z Block i nie recenzował ani nie popierał Dessy.
Po co blokować całkowicie pominięty tekst
Trenowanie modelu bez tekstu jest celowym założeniem. Block stoi na stanowisku, że mowa nie jest stratnym opakowaniem języka — jest podstawowym medium, a model wyrastający na surowym dźwięku może rozwinąć możliwości i tryby awarii, których nie mają systemy uczące się za pomocą tekstu.
Sama firma przedstawia korzyści naukowe w postaci otwartych pytań, a nie ustalonych wyników: jak skutecznie modele wykorzystujące wyłącznie mowę uczą się języka i faktów w porównaniu z systemami uczącymi się za pomocą tekstu? Jak skutecznie mogą uczyć się nowych języków? Jakie rodzaje uczenia się kontekstowego mogą wykonywać? „Dessa przesuwa granice modeli głębokiego uczenia się i tworzy inną kategorię z zupełnie nowymi i interesującymi zachowaniami, które badacze mogą odkryć” – czytamy w ogłoszeniu.
Na boisku kryje się także pragmatyczna teza. Block twierdzi, że wnioskowanie Dessy przebiega szybciej niż w czasie rzeczywistym, więc odpowiedzi przychodzą bez niezręcznych przerw, które nękają turowych asystentów głosowych, oraz – według relacji Unite.AI z premiery – że model działa lokalnie na sprzęcie konsumenckim równie wydajnym jak MacBook Pro z chipem M4 Max lub lepszym. Jeśli będzie dokładny, lokalnie działający, pełnodupleksowy model głosu będzie godny uwagi w momencie, gdy większość konkurencyjnej sztucznej inteligencji głosowej pozostaje powiązana z chmurą.
„Chwila przemówienia GPT-3”
Ragavan Thurairatnam, który kieruje laboratorium badawczym Block AI w firmie Block, opisał Dessę jako pierwszy model sztucznej inteligencji, który może prowadzić realistyczną rozmowę po przeszkoleniu wyłącznie w zakresie mowy, i nazwał tę premierę „momentem GPT3 na mowę” – wynika z raportu Unite.AI z ogłoszenia. Porównanie jest trafne: debiut GPT-3 w 2020 r. nie zaowocował od razu użytecznymi produktami, ale na nowo określił możliwości modeli językowych i zapoczątkował obecny cykl inwestycyjny.
The Verge, który relacjonował premierę, opisał wynik jako model, który „rozmawia z tobą jak niezręczny nowy przyjaciel” – sugestywne podsumowanie klipów demonstracyjnych, w których Dessa ze zdziwienia wzdycha „o mój Boże” lub reaguje na osobiste wiadomości z czymś, co brzmi jak łzawa wdzięczność. To, czy te maniery odzwierciedlają prawdziwe zrozumienie, czy wyrafinowane odwzorowanie wzorców, jest właśnie tym rodzajem pytania, które Block chce zbadać przez społeczność badawczą.
Bezpieczeństwo na pierwszym miejscu – chociaż raz
Warto zauważyć, że Block nie wysyła Dessy bezpośrednio do konsumentów. Publikacja stanowi zapowiedź badań: nagrania są publiczne, lista oczekujących jest otwarta, ale praktyczny wczesny dostęp jest ograniczony do małej grupy badaczy bezpieczeństwa sztucznej inteligencji. Biorąc pod uwagę ciągłe obawy związane z oszustwami polegającymi na klonowaniu głosu i sztuczną inteligencją manipulującą emocjami, model mowy, który może wyrażać – i prawdopodobnie wywoływać – emocje, jest dokładnie tym rodzajem, który zespoły ds. bezpieczeństwa systemów chcą ocenić przed masowym wdrożeniem.
Block twierdzi, że w nadchodzących dniach na platformie X zostanie udostępnionych więcej nagrań. Firma nie ogłosiła cen, dostępu do API ani planów integracji swoich produktów Square, Cash App ani Bitkey.
Pytania otwarte
Start Dessy ląduje na zatłoczonym polu. Każde większe laboratorium AI oferuje obecnie tryb głosowy, a start-upy od dwóch lat promują modele mowy w czasie rzeczywistym. To, co wyróżnia Dessa, to przepis na trening — czysta mowa, zero tekstu — i twierdzenie, że pojawiające się zachowania konwersacyjne, takie jak śmiech w połowie zdania, powstały bez wyraźnych instrukcji.
Sceptycy będą chcieli niezależnej oceny. Czy model pozbawiony tekstu może rzeczywiście wiarygodnie uczyć się faktów, czy też ma bardziej swobodne halucynacje bez podstaw języka pisanego? Czy można skalować do nowych języków bez transkrypcji? Strona Blocka zachęca do zadawania dokładnie tych pytań, co jest albo pewnością siebie, albo szczerym potwierdzeniem, że nikt – łącznie z Blockiem – nie zna jeszcze odpowiedzi.
Na razie Dessa jest artefaktem badawczym z listą oczekujących. Jeśli jednak szkolenie oparte wyłącznie na mowie okaże się konkurencyjne w porównaniu z potokami opartymi na tekście, Block mógł odkryć jedno z ciekawszych założeń współczesnej sztucznej inteligencji: najszybszą drogą do naturalnej rozmowy maszynowej jest zbudowanie maszyn, które uczą się tak samo jak my – poprzez słuchanie.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
