Block, платежная компания, возглавляемая Джеком Дорси, вступила в гонку голосового ИИ с необычайно смелым заявлением. В четверг собственная исследовательская лаборатория компании представила Dessa, модель преобразования речи в речь, которая, по словам Блока, была обучена с нуля только на человеческом разговоре — без текста, без расшифровок и без предварительно обученных базовых моделей.
«Насколько нам известно, Dessa — это первый в мире искусственный интеллект, с которым можно вести реалистичный живой разговор, который был обучен только на основе человеческой речи», — говорит Блок на официальной странице модели, где релиз описывается как «исследовательская предварительная версия полнодуплексной речевой модели». Компания публикует живые демо-записи, открывает публичный список ожидания и предоставляет ранний доступ небольшой группе исследователей безопасности ИИ. Подробнее об этой истории — в нашем тенденции ИИ.
Что такое Десса на самом деле
Dessa — это то, что исследователи называют полнодуплексной моделью преобразования речи в речь: аудиовход, аудиовыход, без текстового слоя между ними. Эта последняя часть является дифференциатором. Практически каждый популярный голосовой помощник, включая голосовые режимы крупнейших чат-ботов, преобразует вашу речь в текст, рассуждает над ней и произносит ответ. Блок утверждает, что конвейер выбрасывает большую часть того, что делает человеческий разговор человечным.
«Взаимодействие с нынешним голосовым искусственным интеллектом может быть просто отстойным», — говорится в заявлении компании. «Он превращает ваш голос в текст и выбрасывает невероятное количество информации, которую сам текст не может нести. Самые мощные ИИ в мире не могут услышать, что вы чувствуете. Мы считаем, что это смешно, приводит к ухудшению впечатлений и потенциально опасно».
Поскольку Dessa никогда не передает текст, говорит Блок, она изначально улавливает эмоции, сарказм, смех, разочарованный вздох или голос, надрывающийся от печали — паралингвистические сигналы, которые текстовые системы обычно игнорируют.
Полнодуплексный режим означает, что он говорит как человек, а не как бот, выполняющий очереди
Вторая определяющая черта — полнодуплексный режим. Десса слушает и говорит одновременно, как это делают люди, вместо того, чтобы ждать окончания речи, прежде чем ответить. По словам Блока, на реальных разговорах модель научилась, когда вмешаться, когда перейти в обратную связь, чтобы показать, что она следует за вами, а когда молчать.
Демонстрации на странице компании иллюстрируют поведение, которое никто явно не программировал. В одном клипе Десса смеется на полуслове, когда что-то становится смешным — «как это делают люди», — отмечает Блок, противопоставляя это обычным голосовым помощникам, которые «ждут, пока вы закончите, а затем смеются по команде». В другом случае пользователь просит модель говорить погромче, и голос становится громче. «Никто этому не учил», — говорят в компании. В третьем человек не называет название фильма, и Десса заканчивает за него предложение.
Блок также старается отметить происхождение одной особенно привлекательной демонстрации, в которой Десса ведет живую беседу с другой системой искусственного интеллекта. «В этой демонстрации Десса разговаривает с GPT-Live-1, сторонней моделью искусственного интеллекта. Оба голоса сгенерированы искусственным интеллектом», — говорится на странице, отмечая, что разработчик GPT-Live-1 не связан с Block и не проверял и не одобрял Dessa.
Зачем полностью блокировать пропущенный текст
Обучение модели вообще без текста — это осознанная ставка. Позиция Блока заключается в том, что речь — это не оболочка языка с потерями, а основной носитель, и модель, построенная на необработанном звуке, может развивать возможности и режимы отказа, которых нет в системах, обученных тексту.
Сама компания представляет научный потенциал как открытые вопросы, а не как готовые результаты: насколько эффективно модели, использующие только речь, изучают язык и факты по сравнению с системами, обученными текстом? Насколько эффективно они могут изучать новые языки? Какие виды контекстного обучения они могут выполнять? «Десса расширяет границы моделей глубокого обучения и создает новую категорию с совершенно новым и интересным поведением, которое предстоит открыть исследователям», — говорится в объявлении.
Существует также прагматическое утверждение, скрытое в поле. Блок говорит, что вывод Dessa выполняется быстрее, чем в реальном времени, поэтому ответы приходят без неловких пауз, которые мешают пошаговым голосовым помощникам, и, согласно сообщению Unite.AI о запуске, модель работает локально на потребительском оборудовании, таком же мощном, как MacBook Pro с чипом M4 Max или лучше. Если это правда, то локально работающая полнодуплексная голосовая модель будет примечательна в тот момент, когда большинство конкурентных голосовых ИИ остаются привязанными к облаку.
«Момент речи GPT-3»
Рагаван Турайратнам, возглавляющий исследовательскую лабораторию ИИ Блока, описал Dessa как первую модель ИИ, которая может вести реалистичный разговор после обучения исключительно речи, и назвал релиз «моментом GPT3 для речи», согласно отчету Unite.AI об этом объявлении. Сравнение является точным: дебют GPT-3 в 2020 году не сразу принес полезные продукты, но он переосмыслил возможности языковых моделей и положил начало текущему инвестиционному циклу.
The Verge, освещавшая запуск, описала результат как модель, которая «разговаривает с вами, как неловкий новый друг» — запоминающееся краткое изложение демо-роликов, в которых Десса задыхается «о боже!» от удивления или реагирует на личные новости со слезами на глазах. Отражают ли эти манеры подлинное понимание или сложное воспроизведение паттернов — это именно тот вопрос, который, по словам Блока, он хочет, чтобы исследовательское сообщество исследовало.
Безопасность превыше всего — на этот раз
Примечательно, что Block не поставляет Dessa напрямую потребителям. Релиз представляет собой предварительный обзор исследования: записи общедоступны, список ожидания открыт, но ранний практический доступ ограничен небольшой группой исследователей безопасности ИИ. Учитывая постоянную обеспокоенность по поводу мошенничества с клонированием голоса и эмоционально манипулирующих ИИ-компаньонов, речевая модель, которая может выражать — и, предположительно, вызывать — эмоции, — это именно тот вид системной безопасности, который группы безопасности хотят оценить перед массовым развертыванием.
Блок говорит, что в ближайшие дни на X будут опубликованы новые записи. Компания не объявила цены, доступ к API или планы интеграции для своих продуктов Square, Cash App или Bitkey.
Открытые вопросы
Ракета «Дессы» приземляется на людном поле. Каждая крупная лаборатория искусственного интеллекта теперь предлагает голосовой режим, а стартапы уже два года продвигают модели речи в реальном времени. Что отличает Dessa, так это ее рецепт обучения — чистая речь, ноль текста — и утверждение, что возникающее разговорное поведение, такое как смех в середине предложения, возникает без явных инструкций.
Скептики захотят независимой оценки. Может ли бестекстовая модель действительно надежно усваивать факты или же она будет более свободно галлюцинировать, не имея письменного языка? Может ли он масштабироваться на новые языки без транскриптов? Собственная страница Блока вызывает именно эти вопросы, что является либо уверенностью, либо откровенным признанием того, что никто, включая Блока, пока не знает ответов.
На данный момент Десса представляет собой исследовательский артефакт со списком ожидания. Но если обучение, основанное только на речи, окажется конкурентоспособным по сравнению с конвейерами, основанными на тексте, Блок, возможно, выскажет одну из наиболее интересных противоположных ставок в современном искусственном интеллекте: самый быстрый путь к естественному машинному общению — это создание машин, которые обучаются так же, как мы, — слушая.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
