Un nuovo progetto open source scommette che il modo più veloce per trovare un ricordo sia descriverlo e che la ricerca non dovrebbe mai abbandonare il tuo laptop. SCM, abbreviazione di Screen Memories, è un'applicazione macOS gratuita che applica modelli di intelligenza artificiale locale a ogni foto e ogni fotogramma di video in una cartella, consentendo agli utenti di effettuare ricerche nelle proprie librerie in un linguaggio semplice. Il progetto è apparso su GitHub questa settimana ed è rapidamente salito sulla prima pagina di Hacker News, dove ha ottenuto più di 85 punti in poche ore.
La proposta è semplice in superficie: punta SCM su qualsiasi cartella e crea un indice ricercabile di ciò che è effettivamente presente nei tuoi media: non solo nomi di file, ma il contenuto visivo di ogni immagine e ogni scena all'interno di ogni video. Ciò che lo distingue in un campo affollato di strumenti fotografici AI è che funziona tutto sul Mac stesso. Non ci sono account, né caricamenti nel cloud né telemetria. Una volta che i modelli scaricano i loro pesi alla prima esecuzione, l'app funziona offline. Per maggiori informazioni su questa storia, consulta la nostra copertura dell'industria IA.
Cinque modi per effettuare ricerche nei media in una vita intera
SCM organizza la ricerca in cinque modalità distinte, ciascuna alimentata da un modello diverso eseguito localmente.
La modalità File esegue la ricerca semantica dell'intero file tra foto e video, classificando i risultati in base al significato con potenziamenti da nomi di file e frasi. Scene va più in profondità: l'app segmenta i video in singole scene e le incorpora separatamente, quindi una query ti porta allo scatto esatto, con un salto direttamente al suo codice temporale anziché a un timestamp sepolto nel nome di un file.
Due modalità incentrate sul testo gestiscono le parole all'interno dei media. La modalità OCR, basata sul motore Tesseract, legge il testo visibilmente presente nelle immagini e nei fotogrammi video e lo abbina letteralmente, con l'inglese più 35 pacchetti di lingue aggiuntivi che possono essere attivati. La modalità Dialogo esegue il riconoscimento vocale Whisper sui video e indicizza le esatte parole pronunciate, con livelli di precisione della corrispondenza per la ricerca di una linea specifica.
Infine, una modalità LLM di attivazione trasforma il materiale estratto (trascrizioni dei dialoghi, testo OCR e nomi di file) in un contesto di chat locale. Gli utenti possono porre domande sulla propria libreria e l'app restituisce risposte con citazioni che rimandano ai file sorgente, tutti generati da un modello in esecuzione sulla stessa macchina.
Come funziona sotto il cofano
Tecnicamente, SCM è un'applicazione Electron scritta in JavaScript, che utilizza il toolkit Bun come gestore di pacchetti e runtime. Il lavoro pesante viene svolto dai modelli di trasformazione eseguiti direttamente nell'app: il modello di visione predefinito è una variante CLIP i cui pesi, circa 435 megabyte, vengono scaricati una volta al primo utilizzo.
L'indice si mantiene. Le cartelle controllate importano automaticamente i nuovi media non appena arrivano, l'hashing dei contenuti deduplica i file che sono stati semplicemente rinominati o spostati e il passaggio a un modello diverso incorpora nuovamente la libreria in background senza bloccare le ricerche. Lo sviluppatore rileva che le funzionalità della barra dei menu e del vassoio sono specifiche di macOS, dove l'app è confezionata per la distribuzione.
Il modello della privacy è il punto di forza. La documentazione del progetto è esplicita: i media non lasciano mai la macchina, l'inferenza viene eseguita localmente attraverso i tempi di esecuzione del trasformatore e dopo il download iniziale del peso tutto funziona offline. Per gli utenti con archivi sensibili (immagini mediche, filmati legali, video personali) questa scelta architettonica è la caratteristica.
Costruito per gli archivi personali
L'interfaccia riflette la stessa filosofia di personalizzazione. Qualsiasi query può essere salvata come scheda riutilizzabile, quindi una ricerca che richiede un attimo per essere formulata diventa una visualizzazione permanente nella libreria. L'app viene inoltre fornita con schermate e schede e-mail attivabili, riconoscendo che un Mac moderno accumula schermate e allegati a un ritmo che supera rapidamente la ricerca del sistema operativo.
La tecnica di base è il meccanismo ormai standard della ricerca semantica: un modello di visione converte ogni scena di immagine e video in un incorporamento numerico e le query sono incorporate nello stesso modo in modo che la corrispondenza avvenga per significato anziché per sovrapposizione di parole chiave. Ciò che è degno di nota qui non è la tecnica ma la confezione: la stessa pipeline che i servizi fotografici cloud eseguono sulle server farm è compressa in un'app Electron che un non sviluppatore può installare ed eseguire senza supervisione su cartelle di sua scelta.
Parte di un più ampio spostamento verso l'IA locale
L'SCM arriva quando l'esecuzione di modelli di intelligenza artificiale su hardware consumer è passata dalla novità all'aspettativa. Apple ha costantemente spinto la ricerca semantica nella propria app Foto, mentre i modelli di parlato, visione e testo open source si sono ridotti a dimensioni che funzionano comodamente sui laptop. Ciò che rimane scarso non sono i modelli sottostanti ma il livello di integrazione: il software che li collega insieme in qualcosa che un non ingegnere può effettivamente utilizzare sui propri file.
Questa è la nicchia occupata da SCM e la sua ricezione suggerisce che il prurito è reale. Il repository ha raccolto 160 stelle e otto fork in circa un giorno, con i commentatori di Hacker News che hanno concentrato le loro domande sulle dimensioni dei modelli, sulla velocità di indicizzazione e sulla disponibilità di Windows: attualmente la risposta all'ultima è no, poiché per ora il progetto è solo per macOS.
Il progetto è rilasciato sotto la licenza MIT, che ne consente l'uso commerciale e la modifica. Per chiunque abbia un archivio ampio e disorganizzato di foto e registrazioni di schermate, e una avversione di principio a caricarlo ovunque, è una delle dimostrazioni più convincenti finora che un motore di ricerca multimediale completamente locale non è più una demo di ricerca: è un'installazione pomeridiana.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
