Google DeepMind представила SL2T, модель искусственного интеллекта, предназначенную для перевода языка жестов в текст, впервые представленную в новой линейке смартфонов компании Pixel 11. Модель, представленная под лозунгом «передача ИИ языка жестов в руки пользователей», знаменует собой одну из самых громких попыток обеспечить понимание языка жестов в реальном времени на массовом потребительском устройстве.
Объявление было сделано одновременно с мероприятием по запуску Google Pixel 11, на котором компания продемонстрировала набор новых функций на базе Gemini. Среди них перевод на язык жестов выделялся как явная веха в обеспечении доступности, превращая фронтальную камеру телефона в мост между глухими пользователями и людьми, не знающими языка жестов.
Преобразование языка жестов в текст на устройстве
По данным DeepMind и отчетам Engadget и Android Authority, SL2T может транскрибировать язык жестов в текст непосредственно на устройствах Pixel 11. Эта функция дебютирует на Pixel 11 Pro Fold, флагманском складном телефоне Google, который компания позиционирует как демонстрацию новых возможностей.
Digital Trends охарактеризовала этот релиз как «новый способ для глухих пользователей общаться с людьми, не знающими языка жестов», представив SL2T как практический инструмент для повседневного общения, а не как чисто экспериментальную демонстрацию. Идея проста, но мощна: глухой пользователь использует свой телефон, модель интерпретирует жесты, а полученный текст отображается для чтения слышащим собеседником.
Запуск модели на устройстве, а не отправка видео в облако, имеет серьезные последствия как для конфиденциальности, так и для надежности. Разговоры на языке жестов носят интимный характер и часто содержат конфиденциальную информацию, а во избежание облачного обмена эти данные сохраняются на телефоне. Это также позволяет этой функции работать в ситуациях с плохой связью.
Почему язык жестов — серьезная проблема ИИ
Язык жестов гораздо сложнее, чем простое распознавание форм рук. Полные языки жестов, такие как американский язык жестов (ASL), используют жесты рук, мимику, позы тела и движения в пространстве для передачи смысла, и у них есть собственная грамматика, отличная от разговорных языков. Модель, которая отслеживает только руки, упустит большую часть того, что говорит подписывающий.
Вот почему перевод на язык жестов отстает от распознавания речи. Создание системы, способной интерпретировать весь спектр жестовых сообщений в режиме реального времени по телефону при ограниченном бюджете мощности и памяти, представляет собой настоящую инженерную задачу. DeepMind еще не опубликовала полную техническую информацию об архитектуре SL2T или производительности тестов, и в своем объявлении компания сделала упор на взаимодействие с пользователем, а не на необработанные показатели.
Стоит отметить ограниченность публичных подробностей. Независимая проверка точности, поддерживаемых языков жестов и задержки определит, является ли SL2T надежным ежедневным инструментом или функцией на ранней стадии, которая все еще нуждается в доработке. На данный момент подтверждение собственного объявления DeepMind и многочисленных технологических публикаций подтверждает, что модель существует и поставляется на потребительском оборудовании.
Доступность как поле битвы ИИ
SL2T появляется, когда специальные возможности становятся все более заметной ареной конкуренции среди лабораторий искусственного интеллекта и производителей устройств. Подписи в реальном времени, описания изображений для слепых пользователей и перевод на язык жестов теперь позиционируются не как нишевые дополнения, а как возможности заголовков, демонстрирующие практическую ценность встроенного в устройство ИИ.
Для Google привязка SL2T к запуску Pixel 11 преследует две цели. Это придает новому аппаратному обеспечению отличительную особенность, которой нет у телефонов конкурентов, и усиливает идею о том, что Gemini, ИИ-помощник Google, вплетен в операционную систему на фундаментальном уровне. Pixel 11 Pro Fold с большим внутренним экраном является естественным первым домом для функции, предназначенной для показа собеседнику через стол.
Путь развития искусственного языка жестов
Более серьезный вопрос для сообщества глухих и слабослышащих заключается в том, выйдет ли SL2T за пределы одного устройства и ограниченного набора жестовых языков. Американский язык жестов, скорее всего, будет в центре внимания при запуске, но в мире существуют сотни языков жестов, каждый из которых имеет свою собственную структуру и региональные различия. Модель, которая прекрасно работает для лиц, подписывающих ASL в Соединенных Штатах, может оказаться малополезной для пользователей британского языка жестов, Auslan или LSF.
У DeepMind есть опыт, когда он начинал с узкого подхода и постепенно расширялся, как это было с такими системами, как AlphaFold и ее погодными моделями. Если SL2T последует этому шаблону, дебют Pixel 11 станет первым шагом, а не готовым продуктом. Отзывы сообщества от глухих пользователей, которые лучше других могут судить о том, являются ли переводы точными и естественными, будут определять то, что будет дальше.
На данный момент появление сурдоперевода на телефонах массового рынка является заметным шагом. Это говорит о том, что давний разрыв между способностью ИИ понимать устную речь и его способностью понимать язык жестов, возможно, наконец-то начинает сокращаться, по одному устройству за раз.
Следите за последними выпусками моделей и разработками в области искусственного интеллекта на [последних новостях AI Buzz Wire] (https://aibuzzwire.news).
