Jack Dorsey가 이끄는 결제 회사 Block은 유난히 대담한 주장으로 음성 AI 경쟁에 뛰어들었습니다. 목요일에 회사 내부 연구실에서는 음성-음성 모델인 Dessa를 공개했습니다. Block은 인간의 대화만을 대상으로 처음부터 훈련을 받았다고 말합니다. 텍스트도, 녹취록도, 사전 훈련된 기초 모델도 없습니다.

Block은 이 모델의 공식 페이지에서 "우리가 아는 한 Dessa는 인간의 음성으로만 훈련을 받아 현실적인 실시간 대화를 할 수 있는 세계 최초의 AI입니다. 이 출시를 "전이중 음성 모델의 연구 미리보기"라고 설명합니다. 이 회사는 라이브 데모 녹음을 게시하고 공개 대기자 명단을 개설하며 소규모 AI 안전 연구원 그룹에게 조기 액세스 권한을 부여하고 있습니다. 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.

Dessa는 실제로 무엇입니까?

Dessa는 연구자들이 전이중 음성 대 음성 모델(오디오 입력, 오디오 출력, 사이에 텍스트 레이어 없음)이라고 부르는 것입니다. 마지막 부분이 차별화 요소입니다. 가장 큰 챗봇에 연결된 음성 모드를 포함하여 거의 모든 주류 음성 도우미는 사용자의 음성을 텍스트로 변환하고 그에 대한 이유를 설명하며 응답합니다. 블록은 파이프라인이 인간의 대화를 인간답게 만드는 것의 대부분을 버린다고 주장합니다.

회사의 발표에 따르면 "현재 음성 AI와 상호작용하는 것은 정말 짜증나는 일입니다."라고 명시되어 있습니다. "그것은 당신의 목소리를 텍스트로 바꾸고 텍스트만으로는 전달할 수 없는 엄청난 양의 정보를 버립니다. 세계에서 가장 강력한 AI는 당신의 감정을 들을 수 없습니다. 우리는 그것이 터무니없고 더 나쁜 경험으로 이어지며 잠재적으로 위험하다고 생각합니다."

Dessa는 절대로 텍스트를 전달하지 않기 때문에 Block은 기본적으로 감정, 풍자, 웃음, 답답한 한숨 또는 슬픔으로 갈라지는 목소리(텍스트 기반 시스템이 일반적으로 무시하는 보조 언어 신호)를 포착한다고 말합니다.

전이중 방식은 방향을 바꾸는 봇이 아니라 사람처럼 말하는 것을 의미합니다.

두 번째 정의 특성은 전이중 작업입니다. Dessa는 응답하기 전에 발화의 끝이 감지될 때까지 기다리지 않고 사람들이 하는 방식으로 동시에 듣고 말합니다. Block에 따르면, 모델은 실제 대화를 통해 언제 끼어들어야 하는지, 언제 백채널로 따라가는지 보여주고 언제 조용히 있어야 하는지 배웠습니다.

회사 페이지의 데모는 누구도 명시적으로 프로그래밍하지 않은 동작을 보여줍니다. 한 클립에서 Dessa는 뭔가 재미있어지는 순간 문장 중간에 웃습니다. "사람들이 하는 방식"이라고 Block은 말합니다. 이는 "끝날 때까지 기다렸다가 신호에 따라 웃는" 기존 음성 비서와 대조됩니다. 또 다른 경우에는 사용자가 모델에게 발언을 요청하면 소리가 더 커집니다. "아무도 그런 것을 가르쳐주지 않았습니다"라고 회사는 말합니다. 세 번째에서는 그 사람이 영화 제목을 공백으로 입력하고 Dessa가 대신 문장을 완성합니다.

Block은 또한 Dessa가 다른 AI 시스템과 실시간 대화를 나누는 특히 눈길을 끄는 데모의 출처를 주의 깊게 표시했습니다. "이 데모에서 Dessa는 제3자 AI 모델인 GPT-Live-1과 대화하고 있습니다. 두 목소리 모두 AI에서 생성되었습니다."라고 페이지에 명시되어 있으며 GPT-Live-1의 개발자는 Block과 관련이 없으며 Dessa를 검토하거나 승인하지 않았다고 명시되어 있습니다.

건너뛴 텍스트를 완전히 차단하는 이유

텍스트가 전혀 없는 모델을 훈련하는 것은 의도적인 내기입니다. Block의 입장은 음성이 언어를 둘러싼 손실이 많은 래퍼가 아니라 기본 매체이며 원시 사운드에서 성장한 모델이 텍스트 학습 시스템에 없는 기능과 실패 모드를 개발할 수 있다는 것입니다.

회사 자체는 과학적 장점을 확정된 결과가 아닌 개방형 질문으로 구성합니다. 음성 전용 모델은 텍스트 학습 시스템에 비해 언어와 사실을 얼마나 효율적으로 학습합니까? 새로운 언어를 얼마나 효율적으로 배울 수 있습니까? 어떤 종류의 상황 내 학습을 수행할 수 있나요? "Dessa는 딥 러닝 모델의 최전선을 발전시키고 연구자들이 발견할 수 있는 완전히 새롭고 흥미로운 행동으로 다른 카테고리를 만듭니다"라고 발표했습니다.

피치에는 실용적인 주장도 묻혀 있습니다. Block은 Dessa의 추론이 실시간보다 빠르게 실행되므로 턴제 음성 비서를 괴롭히는 어색한 일시 중지 없이 응답이 제공되며, 출시에 대한 Unite.AI의 보도에 따르면 이 모델은 M4 Max 칩 이상이 탑재된 MacBook Pro와 같은 소비자 하드웨어에서 로컬로 실행된다고 말합니다. 정확하다면 로컬에서 실행되는 전이중 음성 모델은 대부분의 경쟁력 있는 음성 AI가 클라우드에 묶여 있는 순간에 주목받을 것입니다.

"GPT-3 연설의 순간"

Block의 AI 연구실을 이끌고 있는 Ragavan Thurairatnam은 Dessa를 음성 훈련을 모두 마친 후 현실적인 대화를 할 수 있는 최초의 AI 모델이라고 설명했으며 이번 출시를 "GPT3 스피치의 순간"이라고 불렀다고 Unite.AI의 발표 보고서에 나와 있습니다. 비교는 명확합니다. GPT-3의 2020년 데뷔는 즉시 유용한 제품을 생산하지는 않았지만 언어 모델이 수행할 수 있는 작업을 재구성하고 현재 투자 주기를 시작했습니다.

출시를 다룬 The Verge는 결과를 "어색한 새 친구처럼 당신에게 말하는" 모델이라고 설명했습니다. Dessa가 놀라서 숨을 헐떡이며 "오 마이 갓"을 헐떡거리거나 눈물을 흘리는 감사의 마음으로 개인적인 소식에 응답하는 데모 클립을 연상시키는 요약입니다. 이러한 매너리즘이 진정한 이해를 반영하는지 아니면 정교한 패턴 재현을 반영하는지 여부는 바로 Block이 연구 커뮤니티에서 조사하기를 원하는 질문의 종류입니다.

안전이 최우선입니다 — 단 한번만이라도

특히 Block은 Dessa를 소비자에게 직접 배송하지 않습니다. 이번 릴리스는 연구 미리보기입니다. 녹음은 공개되고 대기자 명단은 공개되지만 실습 조기 액세스는 소규모 AI 안전 연구자 그룹으로 제한됩니다. 음성 복제 사기와 정서적으로 조작하는 AI 동료에 대한 지속적인 우려를 고려할 때, 감정을 표현할 수 있고 아마도 유도할 수 있는 음성 모델은 시스템 안전 팀이 대량 배포 전에 평가하고 싶은 종류입니다.

블록은 앞으로 더 많은 녹음이 X에서 공유될 것이라고 말했습니다. 회사는 Square, Cash App 또는 Bitkey 제품에 대한 가격, API 액세스 또는 통합 계획을 발표하지 않았습니다.

공개 질문

Dessa의 발사는 혼잡한 들판에 착륙합니다. 이제 모든 주요 AI 연구소에는 음성 모드가 탑재되어 있으며, 스타트업에서는 2년 동안 실시간 음성 모델을 추진해 왔습니다. Dessa를 구별하는 점은 훈련 방법(순수한 음성, 텍스트 없음)과 문장 중간 웃음과 같은 창발적인 대화 행동이 명시적인 지시 없이 발생했다는 주장입니다.

회의론자들은 독립적인 평가를 원할 것입니다. 텍스트가 없는 모델이 실제로 사실을 안정적으로 학습할 수 있습니까? 아니면 서면 언어에 기초하지 않고도 더 자유롭게 환각을 느낄 수 있습니까? 성적표 없이 새로운 언어로 확장할 수 있나요? Block의 자체 페이지는 정확히 이러한 질문을 유도합니다. 이는 Block을 포함하여 아직 누구도 답을 모른다는 자신감 또는 솔직한 인정입니다.

현재 Dessa는 대기자 명단이 있는 연구 유물입니다. 그러나 음성 전용 훈련이 텍스트 기반 파이프라인과 경쟁력이 있는 것으로 입증된다면 Block은 현대 AI에서 가장 흥미로운 역설적 내기 중 하나를 표면화했을 수 있습니다. 즉, 자연스러운 기계 대화를 위한 가장 빠른 경로는 우리가 했던 방식, 즉 듣기를 통해 학습하는 기계를 만드는 것입니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →