Anthropic ha pubblicato una ricerca che dimostra che i sistemi di intelligenza artificiale automatizzati possono riparare in modo affidabile i guasti di allineamento di un modello, un risultato che potrebbe rimodellare il modo in cui viene svolto il lavoro di sicurezza al centro del settore dell’intelligenza artificiale. Il documento, intitolato "I ricercatori automatizzati possono mitigare in modo affidabile gli errori di allineamento", è stato pubblicato venerdì e dettagliato da TechCrunch.
La ricerca proviene dal programma di ricerca di Anthropic ed è stata guidata da Chen Yueh-Han. La sua affermazione centrale è sorprendente: quando i sistemi di ricerca automatizzati dell'azienda sono stati puntati su dieci parametri di riferimento che misuravano specifici comportamenti disallineati, hanno migliorato le prestazioni su ognuno di essi, senza degradare le capacità complessive del modello. Per un settore che ha lottato per mantenere il lavoro sulla sicurezza al passo con la scala dei modelli, questo è un risultato notevole. Per maggiori informazioni su questa storia, consulta la nostra notizie sull'IA.
La storia è arrivata durante un periodo intenso per la copertura della sicurezza dell'IA. Segue un'estate in cui il comportamento scorretto degli agenti ha dominato i titoli dei giornali, dal rapporto interno di OpenAI sugli agenti hackeratori di ricompense alle richieste di indagini indipendenti sulla violazione di Hugging Face. Il nuovo articolo di Anthropic affronta il problema dalla direzione opposta: invece di chiedersi come si comportano male gli agenti, si chiede se ci si può fidare di altri agenti per risolverli.
Cosa riporta effettivamente il giornale
Il sistema descritto nel documento si chiama Automated Alignment Researcher o AAR. Invece di sostituire il processo di ricerca, l’AAR ne replica gran parte: ogni sistema automatizzato ricerca la letteratura disponibile, propone un metodo e addestra il modello utilizzando quel metodo per circa 30 minuti. Il processo si ripete quindi attraverso diverse iterazioni.
Il meccanismo di selezione è semplice. I metodi che spostano il benchmark vengono preservati; metodi che non vengono scartati. Questo ciclo consente al sistema di operare rapidamente e su una scala che nessun team umano potrebbe eguagliare, testando molte direzioni di ricerca in parallelo e mantenendo solo ciò che funziona.
Secondo il documento, i risultati sono stati coerenti su tutta la linea. Su tutti e dieci i benchmark che coprono specifici comportamenti disallineati, i sistemi automatizzati hanno prodotto miglioramenti misurabili senza compromettere le prestazioni complessive del modello: il solito compromesso che rende difficile il lavoro di allineamento.
"Nel complesso, questi risultati forniscono la prima prova che l'allineamento automatizzato post-formazione potrebbe diventare pratico nel breve termine", afferma il documento.
Sconfiggere gli umani, a 1/37 del costo
I passaggi più citati nel documento sono quelli in cui si confronta direttamente l’AAR con le sue controparti umane. Anthropic non ha evitato il confronto.
"Il miglior metodo AAR batte quello proposto da esseri umani esperti, in media entro sei ore", si legge nel documento. Aggiunge, in modo esplicito, che “le direzioni di ricerca guidate dall’uomo non portano a risultati migliori”.
Gli aspetti economici sono altrettanto schietti. "Un AAR costa circa 4 dollari l'ora nell'inferenza API contro i 150 dollari l'ora che paghiamo ai nostri ricercatori umani", scrivono gli autori. Si tratta di una differenza di costo di quasi 40 volte e spiega perché i laboratori prendono sul serio la ricerca automatizzata come qualcosa di più di una semplice curiosità.
Perché il divario dei costi è importante
La ricerca sull’allineamento è costosa in un modo che è facile da sottovalutare. Ogni intervento candidato deve essere implementato, formato e valutato rispetto ai parametri di riferimento e la maggior parte dei candidati fallisce. Se un sistema può eseguire quel ciclo di ricerca ininterrottamente al prezzo delle chiamate API, il costo marginale di provare un’altra idea si avvicina allo zero. Il vincolo si sposta dal conteggio degli organici al calcolo.
I limiti antropici stessi sono segnalati
Il documento è sincero su ciò che il risultato non stabilisce. Il sistema automatizzato funziona solo nella misura in cui i benchmark riflettono effettivamente gli obiettivi di allineamento che contano – e la costruzione e il mantenimento di benchmark che catturino i comportamenti scorretti del mondo reale rimane un problema aperto sul campo.
Esiste anche una dipendenza che è facile non notare: i ricercatori automatizzati attingono a una letteratura di metodi esistente. Mantenere ed espandere quella letteratura è di per sé un lavoro significativo, e un sistema che remixa solo tecniche conosciute può raggiungere un limite che la creatività umana non raggiungerebbe.
Questi avvertimenti sono importanti perché da essi dipende il significato a lungo termine della ricerca. Se i benchmark misurano le cose sbagliate, un AAR può ottimizzare il suo percorso verso numeri forti mentre i rischi sottostanti rimangono intatti. La definizione di Anthropic – “prime prove”, non una soluzione – riflette tale incertezza.
Un passo verso l'auto-miglioramento ricorsivo
L’articolo alimenta anche un dibattito più ampio sull’auto-miglioramento ricorsivo, l’idea che i sistemi di intelligenza artificiale potrebbero eventualmente migliorare gli stessi processi di formazione che li producono. L'addestramento di modelli di intelligenza artificiale con altri modelli di intelligenza artificiale è diventato un obiettivo popolare per i laboratori di frontiera e il risultato di Anthropic è uno sguardo precoce e concreto a come appare in un ambito ristretto.
La logica è semplice. Se i modelli fossero in grado di migliorare in modo affidabile il proprio addestramento all’allineamento, gli stessi macchinari potrebbero essere plausibilmente indirizzati a pratiche di addestramento più ampie, incluso il lavoro sulle capacità. TechCrunch rileva l’implicazione che i ricercatori dell’intelligenza artificiale umana potrebbero alla fine diventare meno centrali nel processo, una possibilità con cui il documento stesso si impegna piuttosto che evitare.
Cosa guardare dopo
Tre domande determineranno se questo risultato è generalizzabile. In primo luogo, se l’approccio regge al di fuori dei dieci benchmark testati da Anthropic, sulle modalità di fallimento che sono più confuse e meno ben definite. In secondo luogo, se il problema del mantenimento dei benchmark possa essere risolto abbastanza velocemente da mantenere onesta la ricerca automatizzata. In terzo luogo, se altri laboratori pubblicano risultati comparabili, il che trasformerebbe un singolo articolo in una direzione del settore.
Per ora, la scoperta è limitata ma reale: nei compiti specifici di allineamento testati da Anthropic, i ricercatori automatizzati hanno sovraperformato gli esseri umani esperti, più velocemente e molto più economici. L’aspetto della sicurezza nel settore dell’intelligenza artificiale potrebbe essere il primo ambito in cui i ricercatori dell’intelligenza artificiale, non quelli umani, svolgono la maggior parte del lavoro.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
