Un nou proiect open-source pariază că cel mai rapid mod de a găsi o memorie este de a o descrie – și că căutarea nu ar trebui să părăsească laptopul. SCM, prescurtare de la Screen Memories, este o aplicație gratuită pentru macOS care aplică modele locale de AI la fiecare fotografie și fiecare cadru de videoclip dintr-un dosar, permițând utilizatorilor să își caute bibliotecile într-un limbaj simplu. Proiectul a apărut pe GitHub săptămâna aceasta și a urcat rapid pe prima pagină a Hacker News, unde a atras peste 85 de puncte în câteva ore.

Pitch-ul este simplu la suprafață: îndreptați SCM către orice folder și construiește un index de căutare a ceea ce este de fapt în media dvs. - nu doar numele fișierelor, ci și conținutul vizual al fiecărei imagini și al fiecărei scene din fiecare videoclip. Ceea ce îl diferențiază într-un domeniu aglomerat de instrumente foto AI este că toate rulează pe Mac însuși. Nu există conturi, nu există încărcări în cloud și nici telemetrie. Odată ce modelele își descarcă greutățile la prima rulare, aplicația funcționează offline. For more context on this story, see our ongoing more AI stories.

Cinci moduri de a căuta o viață media

SCM organizează căutarea în cinci moduri distincte, fiecare alimentat de un model diferit care rulează local.

Modul Fișiere efectuează căutare semantică în întregul fișier în fotografii și videoclipuri, clasificând rezultatele după semnificație, cu îmbunătățiri de la numele fișierelor și expresiile. Scene merge mai profund: aplicația segmentează videoclipurile în scene individuale și le încorporează pe fiecare separat, astfel încât o interogare vă duce la fotografia exactă, cu un salt direct la codul de timp, mai degrabă decât la o marca temporală îngropată într-un nume de fișier.

Două moduri centrate pe text gestionează cuvintele din interiorul media. Modul OCR, construit pe motorul Tesseract, citește text care este vizibil prezent în imagini și cadre video și îl potrivește literalmente, cu limba engleză plus 35 de pachete de limbi suplimentare care pot fi activate. Modul Dialog rulează recunoașterea vorbirii în șoaptă peste videoclipuri și indexează cuvintele rostite exacte, cu niveluri de exactitate a potrivirii pentru a căuta o anumită linie.

În cele din urmă, un mod de înscriere LLMs transformă materialul extras - transcrieri de dialog, text OCR și nume de fișiere - într-un context local de chat. Utilizatorii pot pune întrebări despre propria bibliotecă, iar aplicația returnează răspunsuri cu citate care indică înapoi la fișierele sursă, toate generate de un model care rulează pe aceeași mașină.

Cum funcționează sub capotă

Din punct de vedere tehnic, SCM este o aplicație Electron scrisă în JavaScript, folosind setul de instrumente Bun ca manager de pachete și runtime. Ridicarea grele este realizată de modele de transformatoare executate direct în aplicație - modelul implicit de viziune este o variantă CLIP ale cărei greutăți, aproximativ 435 de megaocteți, sunt descărcate o dată la prima utilizare.

Indicele se menține singur. Dosarele vizionate importă automat noi medii pe măsură ce sosesc, hashingul de conținut deduplică fișierele care au fost doar redenumite sau mutate, iar trecerea la un alt model reîncorporează biblioteca în fundal fără a bloca căutările. Dezvoltatorul observă că funcțiile barei de meniu și ale barei sunt specifice macOS, unde aplicația este ambalată pentru distribuție.

Modelul de confidențialitate este punctul de vânzare. Documentația proiectului este explicită: media nu părăsește niciodată mașina, inferența rulează local prin timpii de rulare a transformatorului și, după descărcarea inițială a greutății, totul funcționează offline. Pentru utilizatorii cu arhive sensibile - imagini medicale, filmări legale, videoclipuri personale - această alegere arhitecturală este caracteristica.

Creat pentru arhivele personale

Interfața reflectă aceeași filozofie de personalizare. Orice interogare poate fi salvată ca o filă reutilizabilă, astfel încât o căutare care a durat un moment pentru a exprima expresia devine o vedere permanentă asupra bibliotecii. De asemenea, aplicația este livrată cu Capturi de ecran și file de e-mail care pot fi comutate, recunoscând că un Mac modern acumulează capturi de ecran și atașamente într-un ritm care depășește rapid căutarea propriului sistem de operare.

Tehnica de bază este mașina standard de căutare semantică: un model de viziune convertește fiecare imagine și scenă video într-o încorporare numerică, iar interogările sunt încorporate în același mod, astfel încât potrivirea să aibă loc prin semnificație, mai degrabă decât prin suprapunerea cuvintelor cheie. Ceea ce este de remarcat aici nu este tehnica, ci ambalajul - aceeași conductă pe care o rulează serviciile foto în cloud pe fermele de servere este comprimată într-o aplicație Electron pe care un non-dezvoltator o poate instala și rula nesupravegheat peste folderele alese de el.

Face parte dintr-o schimbare mai mare către IA locală

SCM vine în timp ce rularea modelelor AI capabile pe hardware-ul de consum a trecut de la noutate la așteptare. Apple a împins constant căutarea semantică în propria sa aplicație Fotografii, în timp ce modelele open-source de vorbire, viziune și text s-au redus la dimensiuni care rulează confortabil pe laptopuri. Ceea ce rămâne rar nu sunt modelele de bază, ci stratul de integrare - software care le conectează într-un lucru pe care un non-inginer îl poate folosi de fapt în propriile fișiere.

Aceasta este nișa pe care o ocupă SCM, iar recepția sa sugerează că mâncărimea este reală. Depozitul a colectat 160 de stele și opt bifurcări în aproximativ o zi, comentatorii Hacker News concentrându-și întrebările pe dimensiunile modelelor, viteza de indexare și disponibilitatea Windows - în prezent, răspunsul la ultimul este nu, deoarece proiectul este doar pentru macOS pentru moment.

Proiectul este lansat sub licența MIT, care permite utilizarea comercială și modificarea. Pentru oricine are o arhivă mare, dezorganizată de fotografii și înregistrări de ecran și o antipatie principială de a le încărca oriunde, este una dintre cele mai convingătoare demonstrații deocamdată că un motor de căutare media complet local nu mai este un demo de cercetare - este o instalare după-amiază.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →