Bezpečnostní výzkumníci zdokumentovali skrytý systém, který se dodává na každém Macu: pár procesů na pozadí, které tiše vytvářejí podrobný, dotazovatelný graf znalostí o osobě používající stroj a o všech kolem nich – jejich kontaktech, jejich rodinných vztazích, jejich každodenních rutinách, dokonce i jejich obličejích – téměř bez oficiální dokumentace od společnosti Apple.
Analýza, kterou zveřejnili 28. října na blogu Eighth Rank výzkumníci Dario Pasquini a Michał Bazyli, se tento týden znovu objevila zásadním způsobem, když se v pátek dostala na titulní stránku Hacker News, přinesla více než 750 bodů a dlouhou debatu o soukromí na zařízení. Vše v zápisu bylo podle autorů shromážděno na macOS 26, verze 26.6.2. For more context on this story, see our ongoing more AI stories.
Dva démoni, padesát jedna databází
Systém je postaven na dvou démonech, které byly dodávány s každým Macem od příchodu macOS 13 v roce 2022: knowledgeconstructiond a intelligenceplatformd. Vlastní dokumentace Apple pro tento mechanismus představuje jedinou manuálovou stránku, která popisuje vědomosti vytvořené jako démona, který „analyzuje obsah na tomto zařízení, aby pomohl vytvořit obecný graf znalostí“ – a ještě něco málo dalšího.
Podle výzkumníků démoni křížově odkazují na téměř vše, co operační systém vidí: kontakty, kalendář, fotografie (včetně údajů o obličeji), zprávy a pošta, polohu, čas u obrazovky, data sdílení rodiny – včetně věku každého člena domácnosti – nouzový kontakt s lékařským ID ve Zdraví, události a kontakty zobrazené pomocí Siri Suggestions, lidi darované aplikacemi třetích stran prostřednictvím nainstalovaných aplikací a seznam nainstalovaných aplikací.
Výsledek žije v ~/Library/IntelligencePlatform: 51 databází SQLite uložených v prostém textu, chráněných před náhodným přístupem pomocí brány TCC Full Disk Access systému macOS. Srdcem systému je graph.db, trojitý obchod napsaný ve slovníku 181 tříd entit a 278 predikátů. Každý řádek zakóduje subjekt, predikát a objekt – osobu, typ vztahu a další osobu, místo, organizaci nebo událost – přičemž každá hrana nese skóre spolehlivosti, počet zdrojů a časová razítka.
Váš život, kategorizováno
Šíře ontologie je místo, kde se výzkum stává pozoruhodným. Vědci katalogizovali všech 181 tříd entit a zjistili, že 57 z nich – téměř třetina slovní zásoby – popisuje činnosti: spánek, cvičení, sezení všímavosti, chození do postele, dojíždění, stolování. Vedle grafu jsou pomocné tabulky zaznamenávající, kdo se s kým objevuje na vašich fotografiích, a komunikační protokol zachycující, kdo komu poslal zprávu, kdy, v jaké aplikaci a jakým směrem – pouze metadata, bez obsahu zprávy.
Čtyřicet šest z predikátů jsou typy vztahů, které zhmotní hranice mezi lidmi, což je způsob, jakým systém zachycuje nejen to, koho znáte, ale také to, jak se k sobě vztahují. Tato schopnost vedlo uživatele Hacker News k tomu, aby tento objev bez obalu shrnuli: každý Mac dodává nezdokumentovaný klasifikátor členů rodiny.
Graf není nečinná metadata. Výzkumníci jej popisují jako dotazovatelný obchod, ze kterého získávají velké jazykové modely – substrát, který umožňuje Apple Intelligence odpovídat na otázky týkající se „fotek mé sestry z loňského léta“, aniž by posílala data do cloudu. Vlastní výzkumníci společnosti Apple publikovali v roce 2023 článek o základních technikách konstrukce grafů, ale výzkumníci poznamenávají, že nebylo publikováno téměř nic o tom, jak je systém integrován do operačního systému.
Open-Sourcing náhled — a varování
Aby mohli uživatelé kontrolovat své vlastní grafy, vydali výzkumníci iKnow, open-source řídicí panel, který čte obsah ~/Library/IntelligencePlatform a vykresluje, co si systém o vás a vaší rodině myslí.
Závěrečná část příspěvku je záměrně provokativní. Autoři provedli myšlenkový experiment – který, jak poznamenávají, platí pro jakýkoli personalizovaný systém – ukazující, co se stane, když taková znalostní báze skončí ve špatných rukou, a zkombinují ji s „vyřazeným“ jazykovým modelem (jedním s odstraněným bezpečnostním školením), aby ukázali, jak lze „jediný bod selhání ochrany soukromí“ použít jako zbraň proti uživateli způsobem, který úniky jednotlivých dat nemohou.
Větší obrázek
Toto zjištění je nešikovné proti marketingu na prvním místě na ochranu soukromí, který definoval strategii AI společnosti Apple: zpracování na zařízení je skutečně soukromější než cloudové alternativy, ale tento výzkum ukazuje, že „zůstane na vašem zařízení“ neznamená „zůstane malé“. Místní systém, který zná váš plán spánku, vaše dojíždění, váš rodokmen a historii fotografií, je vysoce hodnotným cílem – ať už je hrozbou nebezpečný aktér s krátkým přístupem k notebooku, budoucí zranitelnost softwaru nebo příliš schopný místní agent, který je vyzván, aby zneužil to, co se může dotazovat.
Výzkumníci zdůrazňují, že žádné z dat není přenášeno mimo zařízení samotnými démony; analýza se týkala toho, co je lokálně uloženo a jak. Ale jak asistenti umělé inteligence získávají hlubší přístup k místnímu kontextu, hlavní bod výzkumníků zůstává: uživatelé neměli jasnou představu o tom, co na nich jejich vlastní stroje staví, a museli sami reverzně analyzovat odpověď.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
