Společnost Anthropic spustila OSS Scanner, bezplatnou volitelnou službu, která využívá nejsilnější modely AI společnosti – včetně Claude Mythos – k pravidelnému skenování vhodných open-source projektů na zranitelnosti zabezpečení a poskytování plně modelově generovaných hlášení o chybách přímo správcům.

Služba, oznámená ve středu v příspěvku na firemním blogu, je produktem tichého posunu v bezpečnostní práci společnosti Anthropic: její modely v poslední době nacházejí zranitelná místa rychleji, než je může ověřit vlastní bezpečnostní tým společnosti Anthropic. Pro vývojáře, kteří sledují nástroje přetvářející zabezpečení softwaru, je spuštění významným okamžikem pro naše pokrytí vývojem AI v infrastruktuře s otevřeným zdrojovým kódem.

Od projektu Glasswing k veřejné službě

OSS Scanner vychází ze zkušeností společnosti Anthropic s používáním Clauda k hledání zranitelností během projektu Glasswing, interního úsilí společnosti o zjišťování zranitelnosti. Čísla z této práce vysvětlují, proč společnost Anthropic otevírá plynovod pro veřejnost.

Za posledních šest měsíců společnost Anthropic uvádí, že její nejnovější modely odhalily více než 29 000 kandidátských zranitelností v některých z nejdůležitějších světových softwarových projektů – ale společnost byla schopna ručně zkontrolovat a třídit pouze asi 6 000 z nich. Překážkou se stala lidská validační kapacita, nikoli modelová schopnost.

Strana poptávky vypráví podobný příběh. Antropické zprávy, že správci, kteří obdrží její první zprávy, stále častěji žádají vše, co společnost má: téměř 5 000 zpráv již bylo zasláno přímo správcům, kteří požadovali hromadné odeslání neověřených nálezů, včetně záplat.

Kontext schopností je ostrý. Na CyberGym, akademickém benchmarku zjišťování zranitelnosti, se velké jazykové modely podle Anthropic posunuly z méně než 20 procent zranitelností na začátku loňského roku na více než 85 procent v letošním roce – skok, který přeměnil hlášení o chybách AI z hluku na proveditelná zjištění.

Jak čísla obstála v testování

Před spuštěním společnost Anthropic ověřila kanál s desítkami projektů s otevřeným zdrojovým kódem a vytvořila stovky hlášení o chybách – včetně zranitelností, o kterých společnost tvrdí, že by mohly být zřetězeny do neověřeného vzdáleného spouštění kódu.

Nejvýmluvnější test zahrnoval vnější kontrolu. Společnost Anthropic požádala expertní penetrační testery, kteří přezkoumají jeho výsledky koordinovaného odhalení zranitelnosti (CVD), aby prozkoumali 97 kritických a vysoce závažných zjištění ze skeneru, získaných ze 48 projektů. Z toho 85 – 88 procent – ​​splnilo laťku pro proces CVD společnosti Anthropic. Ze zbývajících 12 bylo 11 skutečných, ale duplicitních známých problémů nebo jiných nálezů ze stejného skenování. Pouze jeden byl vyloženě falešně pozitivní.

Každá zpráva, říká společnost, obsahuje samostatný reprodukovatel a vysvětlení zranitelnosti, včetně půlení, které určuje, kdy byla chyba zavedena.

Kompromis: Rychlost nad jistotou

Centrální rozhodnutí o designu OSS Scanneru je také jeho největším rizikem: zprávy jsou plně generovány modelem, bez lidské kontroly nebo třídění. Společnost Antropic výslovně uvádí, že to umožňuje rychlejší a častější skenování, ale také to, že některé zprávy budou nesprávné nebo neplatné.

Společnost navrhuje kompromis jako odpověď na poptávku správce. Vzhledem k tomu, že exploity lze nyní vyvinout během několika minut, projekty stále více upřednostňují okamžité obdržení každého neověřeného nálezu – s připojenými navrhovanými záplatami – před čekáním na lidskou prověrku. OSS Scanner, inspirovaný OSS-Fuzz společnosti Google, která léta skenuje open source software pomocí fuzzerů, aplikuje stejnou logiku na analýzu kódu řízenou umělou inteligencí.

Projekty, které dávají přednost tradičnímu zacházení, nejsou opomenuty: Anthropic říká, že bude i nadále ručně zveřejňovat zprávy o zranitelnosti ověřené lidmi prostřednictvím stávajícího procesu CVD, zejména u projektů, které nemají prostředky na samotné třídění zpráv. Pro ty, kteří chtějí nezpracované nálezy, jakmile jsou vygenerovány, je k dispozici volitelný zrychlený postup.

Kdo se může přihlásit — a co dalšího Antropický oznámil

Hlavní správci způsobilých projektů se mohou zaregistrovat odesláním žádosti o stažení do úložiště GitHub podle standardní šablony projektu. Způsobilost odráží kritéria OSS-Fuzz: projekty by měly mít zásadní dopad na infrastrukturu a bezpečnost uživatelů, přičemž o přijetí se rozhoduje případ od případu.

Skener přichází spolu s širší sadou antropických bezpečnostních iniciativ. Program Cyber ​​Verification Program společnosti zpřístupňuje pokročilé kybernetické funkce a omezené blokovací klasifikátory kvalifikovaným bezpečnostním profesionálům – program Anthropic počátkem tohoto týdne rozšířil o tři úrovně přístupu Claude pro bezpečnostní týmy. Samostatné úsilí Claude for OSS poskytuje bezplatné předplatné Claude Max 20x, které správcům pomáhá s nápravou zranitelností a zlepšováním jejich projektů. SiliconANGLE také informoval o novém programu Antropickém programu zaměřeném na ochranu kritické infrastruktury, přičemž oznámení týdne zarámoval jako koordinovaný tlak na defenzivní kybernetickou bezpečnost.

Co to znamená pro zabezpečení Open-Source

Pokud OSS Scanner funguje tak, jak je inzerováno, znamená to strukturální posun v zabezpečení open source: AI najde chyby a lidé přejdou od lovu k ověřování. Tento posun přesouvá skutečnou zátěž na správce, kteří musí třídit strojově generované zprávy – některé z nich chybné – a přitom se rozhodovat, zda důvěřovat automatickým záplatám.

Míra ověření 88 procent naznačuje, že poměr signálu k šumu je nyní dostatečně dobrý, aby stál za čas údržby, alespoň u projektů kritické infrastruktury. Zda bude širší ekosystém souhlasit, se projeví v počtu přihlášených – a v tom, kolik přihlášených projektů se po první záplavě zpráv v tichosti odhlásí.

---

Stay Ahead of AI

Získejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.

Přečtěte si další zprávy o AI →