Google DeepMind zaprezentował SL2T, model sztucznej inteligencji zaprojektowany do tłumaczenia języka migowego na tekst, wdrażany jako pierwszy w nowej linii smartfonów Pixel 11. Model, wprowadzony pod hasłem „oddawania sztucznej inteligencji języka migowego w ręce użytkowników”, stanowi jedną z najbardziej znanych prób zapewnienia zrozumienia języka migowego w czasie rzeczywistym na głównym urządzeniu konsumenckim.
Ogłoszenie nadeszło wraz z wydarzeniem Google dotyczącym premiery Pixela 11, podczas którego firma zaprezentowała pakiet nowych funkcji opartych na technologii Gemini. Wśród nich wyróżniało się tłumaczenie na język migowy jako wyraźny kamień milowy w zakresie dostępności, zmieniając przedni aparat telefonu w pomost pomiędzy niesłyszącymi użytkownikami a osobami, które nie znają języka migowego.
Język migowy na tekst na urządzeniu
Według DeepMind oraz raportów Engadget i Android Authority SL2T może transkrybować język migowy na tekst bezpośrednio na urządzeniach Pixel 11. Ta funkcja debiutuje w Pixel 11 Pro Fold, flagowym składanym telefonie Google, który firma umieściła jako wizytówkę nowych możliwości.
Firma Digital Trends opisała tę wersję jako „nowy sposób komunikowania się niesłyszących użytkowników z osobami nieznającymi języka migowego”, przedstawiając SL2T jako praktyczne narzędzie do codziennych rozmów, a nie czysto eksperymentalną wersję demonstracyjną. Pomysł jest prosty, ale skuteczny: niesłyszący użytkownik loguje się na swoim telefonie, model interpretuje gesty, a powstały tekst jest wyświetlany do przeczytania słyszącemu partnerowi rozmowy.
Uruchamianie modelu na urządzeniu zamiast wysyłania wideo do chmury niesie ze sobą znaczące konsekwencje zarówno dla prywatności, jak i niezawodności. Rozmowy w języku migowym są intymne i często zawierają poufne informacje, dlatego unikanie przesyłania danych w obie strony do chmury pozwala zachować te dane w telefonie. Umożliwia także działanie tej funkcji w sytuacjach, w których łączność jest słaba.
Dlaczego język migowy jest trudnym problemem AI
Język migowy jest znacznie bardziej złożony niż zwykłe rozpoznawanie kształtów dłoni. Pełne języki migowe, takie jak amerykański język migowy (ASL), wykorzystują gesty rąk, mimikę, postawę ciała i ruch w przestrzeni, aby przekazać znaczenie, i mają własną gramatykę, która różni się od języków mówionych. Model śledzący tylko rozdania przegapi wiele z tego, co mówi osoba podpisująca.
Z tego powodu tłumaczenie na język migowy pozostaje w tyle za rozpoznawaniem mowy. Zbudowanie systemu, który potrafi zinterpretować całe bogactwo komunikacji migowej w czasie rzeczywistym, na telefonie, przy ograniczonym budżecie na energię i pamięć, stanowi prawdziwe wyzwanie inżynieryjne. DeepMind nie opublikował jeszcze pełnych szczegółów technicznych na temat architektury SL2T ani wydajności w testach porównawczych, a firma w swoim ogłoszeniu przedkładała wrażenia użytkownika nad surowe wskaźniki.
Warto zwrócić uwagę na ograniczone szczegóły publiczne. Niezależna weryfikacja wskaźników dokładności, obsługiwanych języków migowych i opóźnień pozwoli określić, czy SL2T jest niezawodnym narzędziem do codziennego użytku, czy też funkcją na wczesnym etapie, która wciąż wymaga dopracowania. Na razie potwierdzenie w ogłoszeniu DeepMind i licznych publikacjach technologicznych potwierdza, że model istnieje i jest dostępny na sprzęcie konsumenckim.
Dostępność jako pole bitwy AI
SL2T pojawia się, gdy funkcje ułatwień dostępu stają się coraz bardziej widoczną areną rywalizacji między laboratoriami AI i producentami urządzeń. Napisy w czasie rzeczywistym, opisy obrazów dla niewidomych użytkowników, a obecnie tłumaczenie na język migowy są obecnie pozycjonowane nie jako niszowe dodatki, ale jako główne funkcje, które demonstrują praktyczną wartość sztucznej inteligencji na urządzeniu.
W przypadku Google powiązanie SL2T z premierą Pixela 11 służy dwóm celom. Nadaje nowemu sprzętowi charakterystyczną cechę, której brakuje telefonom konkurencji, i wzmacnia przekaz, że Gemini, asystent Google AI, jest wpleciony w system operacyjny na podstawowym poziomie. Pixel 11 Pro Fold z większym ekranem wewnętrznym to naturalny pierwszy dom dla funkcji, która ma być pokazywana rozmówcy siedzącego przy stole.
Droga przed sztuczną inteligencją języka migowego
Większym pytaniem dla społeczności niesłyszących i niedosłyszących jest to, czy SL2T wykracza poza jedno urządzenie i ograniczony zestaw języków migowych. Prawdopodobnie głównym tematem wprowadzenia będzie amerykański język migowy, ale na całym świecie istnieją setki języków migowych, każdy z własną strukturą i zróżnicowaniem regionalnym. Model, który doskonale sprawdza się w przypadku osób podpisujących ASL w Stanach Zjednoczonych, może być mało przydatny dla użytkownika brytyjskiego języka migowego, Auslan lub LSF.
DeepMind ma doświadczenie w rozpoczynaniu od wąskiego zakresu i zwiększaniu skali, tak jak miało to miejsce w przypadku systemów takich jak AlphaFold i jego modeli pogodowych. Jeśli SL2T pójdzie tym schematem, debiut Pixela 11 będzie raczej ruchem otwierającym niż gotowym produktem. Informacje zwrotne od społeczności niesłyszących użytkowników, którzy najlepiej potrafią ocenić, czy tłumaczenia są dokładne i naturalne, będą miały wpływ na to, co będzie dalej.
Na razie znaczącym krokiem jest pojawienie się tłumaczenia na język migowy w telefonach przeznaczonych na rynek masowy. Sugeruje to, że utrzymująca się od dawna luka między zdolnością sztucznej inteligencji do rozumienia języka mówionego a umiejętnością rozumienia języka migowego może w końcu zacząć się zacierać, jedno urządzenie na raz.
Bądź na bieżąco z najnowszymi wersjami modeli i rozwojem sztucznej inteligencji w najświeższych wiadomościach AI Buzz Wire.
