Ett nytt projekt med öppen källkod satsar på att det snabbaste sättet att hitta ett minne är att beskriva det - och att sökningen aldrig ska lämna din bärbara dator. SCM, förkortning för Screen Memories, är en gratis macOS-applikation som tillämpar lokala AI-modeller på varje foto och varje bildruta i en mapp, vilket låter användare söka i sina bibliotek på vanligt språk. Projektet dök upp på GitHub den här veckan och klättrade snabbt till förstasidan av Hacker News, där det drog mer än 85 poäng inom några timmar.
Tonhöjden är enkel på ytan: peka SCM mot valfri mapp, och det bygger ett sökbart index över vad som faktiskt finns i ditt media - inte bara filnamn, utan det visuella innehållet i varje bild och varje scen i varje video. Det som skiljer den åt i ett fullsatt område av AI-fotoverktyg är att allt körs på själva Macen. Det finns inga konton, inga molnuppladdningar och ingen telemetri. När modellerna laddat ner sina vikter vid första körningen fungerar appen offline. For more context on this story, see our ongoing AI trends.
Fem sätt att söka en livstid av media
SCM organiserar sökningen i fem distinkta lägen, som alla drivs av en annan modell som körs lokalt.
Läget Filer utför semantisk sökning av hela filer över foton och videor, rangordnar resultaten efter betydelse med ökningar från filnamn och fraser. Scener går djupare: appen segmenterar videor i enskilda scener och bäddar in var och en separat, så en fråga hamnar dig på exakt bilden, med ett hopp direkt till dess tidskod snarare än en tidsstämpel begravd i ett filnamn.
Två textfokuserade lägen hanterar orden i media. OCR-läget, byggt på Tesseract-motorn, läser text som är synligt närvarande i bilder och videoramar och matchar den bokstavligen, med engelska plus 35 ytterligare språkpaket som kan slås på. Läget Dialog kör Whisper-taligenkänning över videor och indexerar de exakta talade orden, med nivåer av matchningsexakthet för att jaga en specifik linje.
Slutligen, ett opt-in LLMs-läge förvandlar det extraherade materialet - dialogutskrifter, OCR-text och filnamn - till en lokal chattkontext. Användare kan ställa frågor om sitt eget bibliotek och appen returnerar svar med citat som pekar tillbaka till källfilerna, alla genererade av en modell som körs på samma maskin.
Hur det fungerar under huven
Tekniskt sett är SCM en Electron-applikation skriven i JavaScript, med hjälp av Bun-verktygslådan som pakethanterare och körtid. De tunga lyften görs av transformatormodeller som körs direkt i appen – standardvisionsmodellen är en CLIP-variant vars vikter, ungefär 435 megabyte, laddas ner en gång vid första användningen.
Indexet upprätthåller sig självt. Bevakade mappar importerar automatiskt nytt media när det kommer, innehållshashning deduplicerar filer som bara har bytt namn eller flyttats, och byte till en annan modell bäddar in biblioteket på nytt i bakgrunden utan att blockera sökningar. Utvecklaren noterar att menyrads- och fackfunktioner är specifika för macOS, där appen paketeras för distribution.
Integritetsmodellen är försäljningsargumentet. Projektets dokumentation är tydlig: media lämnar aldrig maskinen, slutledning körs lokalt genom transformatorns körtider, och efter den första viktnedladdningen fungerar allt offline. För användare med känsliga arkiv – medicinska bilder, juridiska bilder, personlig video – är det arkitektoniska valet funktionen.
Byggd för personliga arkiv
Gränssnittet speglar samma filosofi om anpassning. Alla frågor kan sparas som en återanvändbar flik, så en sökning som tog en stund att formulera blir en permanent vy över biblioteket. Appen levereras också med växlingsbara skärmdumpar och e-postflikar, som bekräftar att en modern Mac samlar skärmdumpar och bilagor i en takt som snabbt växer ur operativsystemets egen sökning.
Den underliggande tekniken är den numera standardmaskinen för semantisk sökning: en visionmodell omvandlar varje bild- och videoscen till en numerisk inbäddning, och frågor bäddas in på samma sätt så att matchning sker genom betydelse snarare än nyckelordsöverlappning. Det som är anmärkningsvärt här är inte tekniken utan paketeringen - samma pipeline som molnfototjänster körs på serverfarmar komprimeras till en Electron-app som en icke-utvecklare kan installera och köra obevakad över mappar som de själva väljer.
Del av ett större skift mot lokal AI
SCM anländer eftersom att köra kapabla AI-modeller på konsumenthårdvara har gått från nyhet till förväntan. Apple har stadigt drivit in semantisk sökning i sin egen Foto-app, medan öppen källkod för tal, syn och textmodeller har krympt till storlekar som fungerar bekvämt på bärbara datorer. Det som förblir knappt är inte de underliggande modellerna utan integrationslagret – programvara som kopplar ihop dem till något som en icke-ingenjör faktiskt kan använda på sina egna filer.
Det är den nisch som SCM upptar, och dess mottagning tyder på att kliandet är verkligt. Förvaret samlade in 160 stjärnor och åtta gafflar på ungefär en dag, med Hacker News-kommentatorer som fokuserade sina frågor på modellstorlekar, indexeringshastighet och Windows-tillgänglighet – för närvarande är svaret på den sista nej, eftersom projektet för närvarande endast är macOS.
Projektet släpps under MIT-licensen, som tillåter kommersiell användning och modifiering. För alla med ett stort, oorganiserat arkiv med foton och skärminspelningar och en principiell motvilja mot att ladda upp det var som helst, är det en av de mer övertygande demonstrationerna ännu att en helt lokal mediesökmotor inte längre är en forskningsdemo – det är en eftermiddagsinstallation.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
