Według doniesień Ars Technica, asystent Muse AI firmy Meta był dostarczany z poważną luką typu zero-day, która umożliwiała dowolnej lokalnie zainstalowanej aplikacji kradzież tokena konta użytkownika Muse i wykorzystanie niezwykle szerokich uprawnień agenta.

Lukę odkrył Patrick Wardle, doświadczony badacz bezpieczeństwa macOS, założyciel Fundacji Objective-See i były pracownik NASA i Agencji Bezpieczeństwa Narodowego. Jego ujawnienie przypada na delikatny moment dla Meta: około 12 godzin przed upublicznieniem Wardle'a Amazon zaczął już blokować ludziom możliwość korzystania z Muse do robienia zakupów w jej witrynie, nazywając ją „nieautoryzowanym agentem sztucznej inteligencji”, który narusza Warunki korzystania z Amazon. Więcej kontekstu na ten temat znajdziesz w naszych wiadomości AI.

Jak działał Muse Zero-Day

Muse, który Meta wprowadziła kilka tygodni temu, ma być agresywnym osobistym asystentem. Według Ars Technica „umawia spotkania, wypełnia formularze i obsługuje klienta”, „aktywnie zdejmuje z Ciebie zadania” i może „dokonywać zakupów, generować obrazy, tworzyć dokumenty i łączyć się z ulubionymi aplikacjami i usługami”. Aplikacja działa na systemie macOS – co ciekawe, nie ma wersji dla systemu Windows – i łączy się z kontem użytkownika w WhatsApp, e-mailem, kalendarzu i mediach społecznościowych.

Właśnie ten poziom dostępu sprawia, że ​​luka jest znacząca. Aby Muse działał, użytkownicy muszą uwierzytelnić go w każdej usłudze i przyznać mu szerokie uprawnienia systemu operacyjnego: zapisywanie plików na dysku, dostęp do mikrofonu i kamery oraz monitorowanie lokalizacji i kalendarzy.

Wardle odkrył, że programiści Meta zaprojektowali asystenta w taki sposób, aby każda lokalnie zainstalowana aplikacja lub wykonane polecenie – niezależnie od własnych uprawnień w systemie macOS – mogło zmienić długą listę nieudokumentowanych ustawień. Większość tych ustawień była nieszkodliwa, jak na przykład przełączanie trybu ciemnego. Jeden jednak jest kontrolowany tam, gdzie przetwarzana jest poufna mowa użytkownika, a ten sam mechanizm może ujawnić token uwierzytelniający użytkownika na jego koncie Muse.

„Możemy manipulować agentem i wykorzystywać jego przywileje, aby robić, co chcemy” – Wardle powiedział Ars Technica. „Zamiast więc pisać bardzo wszechstronnego narzędzie do kradzieży złośliwego oprogramowania dla komputerów Mac, możemy po prostu wykorzystać samego asystenta AI”.

W praktyce Wardle stwierdził, że opracował kilka ataków weryfikujących koncepcję, w tym ataki polegające na zapisie szkodliwych plików na dysku. Jedna z opisanych ścieżek ataku polega na tym, że serwer atakującego działa jako serwer proxy między użytkownikiem Muse a punktem końcowym Meta: gdy użytkownik wypowie komunikat głosowy, serwer atakującego wstrzykuje złośliwe polecenie — na przykład wysyła archiwum wszystkich wiadomości WhatsApp do atakującego — i uzyskuje stałą kontrolę nad kontem Muse.

Decyzje projektowe pod mikroskopem

Wardle przypisał exploit kilku konkretnym wyborom projektowym. Jedną z nich była decyzja Meta, aby obsługiwać dyktando Muse w chmurze, gdzie firma może je rejestrować, zamiast korzystać z długo obsługiwanej transkrypcji na urządzeniu w systemie macOS. Stwierdził, że gdyby wybrano bezpieczniejszą lokalną alternatywę, atak nie byłby możliwy.

Innym było umożliwienie dowolnej aplikacji kontrolowania punktu końcowego nieudokumentowanych ustawień. Wardle zasugerował, że Meta prawdopodobnie była przeznaczona dla aplikacji partnerskich w celu dostosowania preferencji interfejsu, ale rozszerzenie tej kontroli na miejsce przetwarzania wrażliwej mowy zamieniło wygodną funkcję w powierzchnię ataku.

„Według mnie poprzeczka jest nieskończenie wyższa, jeśli chodzi o bezpieczeństwo tych aplikacji” – powiedział Wardle. „Nie muszą być idealni, ale kiedy spojrzysz na Muse, wydaje mi się, że w ogóle nie myśleli o bezpieczeństwie, co jest naprawdę niepokojące. Przynajmniej powinni myśleć o bezpieczeństwie od samego początku, a tak nie jest”.

Meta opublikowała dwa posty w ciągu tylu tygodni, dokumentując decyzje dotyczące projektowania bezpieczeństwa i prywatności stojące za asystentem z tak szerokim dostępem do danych użytkownika – harmonogram, który teraz brzmi inaczej w świetle ujawnienia. Ars Technica zwróciła także uwagę na szerszy kontekst: odkrycia, że ​​wewnętrzne testy modeli firm Anthropic i Google spowodowały naruszenia bezpieczeństwa zewnętrznych sieci stron trzecich, których inżynierowie nigdy nie mieli zamiaru dotykać.

Poprawka i ostrzeżenie dla agenta AI

Ponad 12 godzin po opublikowaniu raportu Meta poinformowała, że wydała poprawkę łatającą dzień zerowy. Meta nie odpowiedziała natychmiast na prośbę o komentarz na temat harmonogramu poprawki.

Eksperci ds. bezpieczeństwa od dawna argumentują, że gdy bezpieczeństwo urządzenia zostanie naruszone, wszystko staje się nieaktualne — jest to kontrargument, na którym często opierają się dostawcy uprzywilejowanego oprogramowania. Wardle w przypadku Muse odwołał się do tego sformułowania: prosta odmiana techniki socjotechnicznej ClickFix, która okazała się niezwykle skuteczna w nakłanianiu ludzi do infekowania własnych urządzeń, to wszystko, czego potrzebuje atakujący, aby uruchomić złośliwy kod na komputerze Mac ofiary.

Wardle planuje bardziej szczegółowo omówić lukę i inne zagrożenia związane z asystentami AI podczas listopadowej konferencji dotyczącej bezpieczeństwa Objective by the Sea.

Odcinek ten stanowi trafne studium przypadku dotyczące długu z tytułu bezpieczeństwa, jaki mogą gromadzić agentyczne produkty AI, gdy trafiają na rynek. Asystent, który może czytać Twoje wiadomości, płacić za zakupy i podejmować działania na Twoich kontach, jest z punktu widzenia osoby atakującej pojedynczym celem o dużej wartości, a złamanie jego zabezpieczeń jest znacznie tańsze niż tworzenie specjalnie zaprojektowanego szkodliwego oprogramowania dla każdej usługi, której dotyka.

Dla użytkowników praktyczne lekcje są znane, ale niezwykle pilne: ogranicz dostęp asystenta AI, traktuj jego uprawnienia tak samo poważnie, jak własne dane uwierzytelniające i podchodź sceptycznie do produktów, które domyślnie kierują wrażliwe dane wejściowe, takie jak dyktowanie głosu, przez serwery innych firm. Dla branży przesłanie badaczy jest bardziej jednoznaczne – bezpieczeństwo nie może być łatką popremierową dla oprogramowania, które przechowuje klucze do czyjegoś cyfrowego życia.

---

Bądź na Bieżąco z AI

Najnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.

Czytaj więcej wiadomości AI →