Bezpečnostní výzkumný tým našel způsob, jak převzít jakýkoli účet ChatGPT jednoduše tím, že přiměje oběť, aby otevřela odkaz na sdílenou konverzaci, podle technického odhalení zveřejněného Parameter Labs 28. října. Společnost oznámila, že OpenAI opravila zranitelnost 26. října a klasifikovala zprávu jako P1, což je její nejvyšší hodnocení závažnosti.

Toto zjištění je vzácné úplné převzetí účtu proti mainstreamové platformě umělé inteligence a ukázalo se, že [nejnovější vývoj umělé inteligence] (https://aibuzzwire.news) neustále ukazuje, kolik citlivého materiálu nyní lidé uchovávají v chatovacích aplikacích. Parameter Labs uvedl, že útok nevyžadoval žádnou instalaci aplikace, žádné vývojářské nástroje a žádnou interakci kromě otevření útočníkovy sdílené ChatGPT URL.

Jak fungoval řetězec útoků

Řetězec zneužil dvě běžné funkce ChatGPT, které samy o sobě vypadaly neškodně: interaktivní graf a karanténu HTML Preview. Funkce náhledu ChatGPT spouští generovaný HTML v omezeném rámci na samostatné webové adrese, což by mu mělo zabránit v dotyku přihlášené stránky chatgpt.com kolem něj.

Průlom přišel z grafu, který načetl matematickou knihovnu nazvanou MathLive. Tato knihovna nainstalovala posluchače zpráv na hlavní stránku ChatGPT pro svou klávesnici na obrazovce, ale Parameter Labs zjistila, že posluchač přijímal zprávy z jakéhokoli původu, aniž by ověřoval odesílatele. Jeden přijatý typ zprávy by mohl nahradit rozložení virtuální klávesnice HTML kontrolovaným útočníkem, které pak MathLive vložilo do skutečné stránky ChatGPT prostřednictvím innerHTML.

Skripty vložené tímto způsobem se normálně nespouštějí, takže výzkumníci zabalili svůj obsah do prvku iframe pomocí atributu srcdoc. Protože hlavní stránka ChatGPT vytvořila tento rámec bez karantény, prohlížeč zacházel s kódem v ní jako s originálním obsahem chatgpt.com s přístupem k nadřazené stránce.

Opuštění zásad zabezpečení obsahu

Zásady zabezpečení obsahu ChatGPT stále blokovaly vložené skripty, ale Parameter Labs našla mezeru: zásady povolovaly skripty z YouTube. Výzkumníci zjistili, že koncový bod oEmbed YouTube odrážel neplatný parametr zpětného volání JSONP do své chybové odpovědi před ověřením, což jim umožnilo předřadit spustitelný JavaScript před odpověď, kterou by prohlížeč šťastně načetl jako skript.

V tu chvíli měl tým spuštěný libovolný JavaScript s identitou chatgpt.com uvnitř přihlášené relace oběti. Parametr Labs jasně vyjádřil, co to znamená v praxi: užitečné zatížení nebylo omezeno na úpravu stránky nebo zobrazení výstrahy – jako oběť mohlo přímo volat ověřená API ChatGPT. Při testování může užitečné zatížení vyčíslit seznam konverzací oběti, získat obsah soukromých konverzací, které nebyly nikdy sdíleny s útočníkem, a odeslat tato data na externí server. Prohlížeč identifikoval každou akci jako pocházející ze samotného chatgpt.com a nedal oběti žádný viditelný signál, že je něco špatně.

Jeden odkaz stačil

Co proměnilo výzkumnou chybu v praktickou zbraň, byla dodávka. Výzkumníci vložili graf a náhledový blok HTML do jediné běžné konverzace, zveřejnili jej pomocí běžné funkce sdílení ChatGPT a výsledný odkaz /sdílet/ poslali stejnými cestami, jaké by kdokoli použil: e-mailem, chatem, lístkem na podporu nebo sociálním příspěvkem.

V nejstabilnější reprodukci musela oběť po otevření odkazu jednou kliknout na tlačítko Náhled ChatGPT. Pozdější verze označila blok HTML jako náhledový, takže ChatGPT jej otevřel automaticky a jedinou požadovanou akcí oběti byla návštěva adresy URL. Tým reprodukoval tuto plně automatickou cestu třikrát na samostatném účtu, a to i po tvrdém obnovení, přičemž užitečné zatížení se spustilo zhruba 4,5 sekundy po načtení stránky.

Protože se graf a náhled načítaly nezávisle, mohla se užitečná zátěž občas spustit dříve, než byl MathLive připraven. Konečná verze zkoušela své zprávy po omezenou dobu, aby zvládla tento spor.

Zveřejnění a oprava

Společnost Parameter Labs ohlásila problém společnosti OpenAI, která odeslala opravu 26. října a ohodnotila zprávu P1. Zveřejnění přichází uprostřed širšího výzkumu zabezpečení platformy AI; počátkem tohoto týdne The Register ohlásil chyby v pěti vývojářských nástrojích umělé inteligence, z nichž některé nebyly v době zveřejnění opraveny.

Lekce zobecňuje nad rámec jedné knihovny. Moderní chatovací aplikace skládají komponenty třetích stran, náhledy v karanténě a povolené kanály zpráv na jediné ověřené stránce a mostem mezi nimi se může stát jakýkoli neověřený přijímač postMessage. Pro uživatele se praktický návod nemění od klasického zabezpečení webu: zacházejte s odkazy na sdílené konverzace s umělou inteligencí tak, jak zacházíte s jakýmkoliv jiným nevyžádaným odkazem, protože platforma již nemůže slíbit, že otevření jednoho je neškodné.

Klasifikace OpenAI P1 a rychlý obrat naznačují, že společnost zachází s útoky relací založenými na prohlížeči na chatgpt.com jako s hrozbami první úrovně. Incident je také připomínkou toho, jak velká hodnota se v těchto účtech soustředí nyní, když uživatelé ukládají pracovní dokumenty, lékařské otázky a soukromé projekty do historie chatu – přesně takový obsah, který dokázala laboratoř Parameter Labs získat.

---

Stay Ahead of AI

Získejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.

Přečtěte si další zprávy o AI →