Een nieuw open-sourceproject gaat ervan uit dat de snelste manier om een ​​herinnering te vinden is door deze te beschrijven – en dat de zoekopdracht nooit je laptop mag verlaten. SCM, een afkorting van Screen Memories, is een gratis macOS-applicatie die lokale AI-modellen toepast op elke foto en elk videoframe in een map, waardoor gebruikers in duidelijke taal door hun bibliotheken kunnen zoeken. Het project verscheen deze week op GitHub en klom snel naar de voorpagina van Hacker News, waar het binnen enkele uren meer dan 85 punten trok.

De pitch is oppervlakkig gezien eenvoudig: wijs SCM naar een willekeurige map en er wordt een doorzoekbare index opgebouwd van wat zich feitelijk in uw media bevindt - niet alleen de bestandsnamen, maar de visuele inhoud van elke afbeelding en elke scène in elke video. Wat het onderscheidt in een druk veld van AI-fototools is dat het allemaal op de Mac zelf draait. Er zijn geen accounts, geen cloud-uploads en geen telemetrie. Zodra de modellen hun gewichten tijdens de eerste run downloaden, werkt de app offline. Voor meer context over dit verhaal, zie ons meer AI-verhalen.

Vijf manieren om een leven lang media te doorzoeken

SCM organiseert de zoekopdracht in vijf verschillende modi, elk aangedreven door een ander model dat lokaal wordt uitgevoerd.

De Bestanden-modus voert een semantische zoekactie uit over het hele bestand in foto's en video's, waarbij de resultaten worden gerangschikt op betekenis, aangevuld met bestandsnamen en woordgroepen. Scènes gaat dieper: de app segmenteert video's in afzonderlijke scènes en sluit ze allemaal afzonderlijk in, zodat een zoekopdracht u op de exacte opname brengt, met een sprong rechtstreeks naar de tijdcode in plaats van een tijdstempel die verborgen zit in een bestandsnaam.

Twee tekstgerichte modi verwerken de woorden in media. De OCR-modus, gebouwd op de Tesseract-engine, leest tekst die zichtbaar aanwezig is in afbeeldingen en videoframes en matcht deze letterlijk, met Engels plus 35 extra taalpakketten die kunnen worden ingeschakeld. De Dialoog-modus voert Whisper-spraakherkenning uit over video's en indexeert de exacte gesproken woorden, met gelaagde niveaus van overeenkomstnauwkeurigheid voor het zoeken naar een specifieke regel.

Ten slotte verandert een opt-in LLMs-modus het geëxtraheerde materiaal (dialoogtranscripties, OCR-tekst en bestandsnamen) in een lokale chatcontext. Gebruikers kunnen vragen stellen over hun eigen bibliotheek, en de app retourneert antwoorden met citaten die terugverwijzen naar de bronbestanden, allemaal gegenereerd door een model dat op dezelfde machine draait.

Hoe het werkt onder de motorkap

Technisch gezien is SCM een Electron-applicatie geschreven in JavaScript, waarbij de Bun-toolkit wordt gebruikt als pakketbeheerder en runtime. Het zware werk wordt gedaan door transformatormodellen die rechtstreeks in de app worden uitgevoerd. Het standaard vision-model is een CLIP-variant waarvan de gewichten, ongeveer 435 megabytes, bij het eerste gebruik één keer worden gedownload.

De index handhaaft zichzelf. Bewaakte mappen importeren automatisch nieuwe media zodra deze binnenkomen, content-hashing ontdubbelt bestanden die alleen maar zijn hernoemd of verplaatst, en door over te schakelen naar een ander model wordt de bibliotheek opnieuw op de achtergrond ingebed zonder zoekopdrachten te blokkeren. De ontwikkelaar merkt op dat menubalk- en ladefuncties specifiek zijn voor macOS, waar de app is verpakt voor distributie.

Het privacymodel is het verkoopargument. De documentatie van het project is expliciet: media verlaten nooit de machine, de inferentie wordt lokaal uitgevoerd via de runtimes van de transformator, en na de eerste download van het gewicht werkt alles offline. Voor gebruikers met gevoelige archieven – medische beelden, juridische beelden, persoonlijke video – is die architecturale keuze het kenmerk.

Gebouwd voor persoonlijke archieven

De interface weerspiegelt dezelfde filosofie van maatwerk. Elke zoekopdracht kan worden opgeslagen als een herbruikbaar tabblad, zodat een zoekopdracht die even duurde, een permanent overzicht van de bibliotheek wordt. De app wordt ook geleverd met schakelbare tabbladen Schermafbeeldingen en E-mail, waarmee wordt erkend dat een moderne Mac schermafbeeldingen en bijlagen verzamelt in een tempo dat de eigen zoekopdracht van het besturingssysteem snel ontgroeit.

De onderliggende techniek is de inmiddels standaardmachinerie van semantisch zoeken: een visiemodel zet elke afbeelding en videoscène om in een numerieke inbedding, en zoekopdrachten worden op dezelfde manier ingebed, zodat matching plaatsvindt op basis van betekenis in plaats van op trefwoordoverlap. Wat hier opvalt, is niet de techniek, maar de verpakking: dezelfde pijplijn die cloudfotoservices op serverfarms draaien, wordt gecomprimeerd tot een Electron-app die een niet-ontwikkelaar kan installeren en onbeheerd kan uitvoeren in mappen naar keuze.

Onderdeel van een grotere verschuiving naar lokale AI

SCM arriveert nu het uitvoeren van capabele AI-modellen op consumentenhardware van nieuwigheid naar verwachting is gegaan. Apple heeft semantisch zoeken gestaag doorgevoerd in zijn eigen Foto's-app, terwijl open-source spraak-, beeld- en tekstmodellen zijn gekrompen tot formaten die comfortabel op laptops werken. Wat schaars blijft, zijn niet de onderliggende modellen, maar de integratielaag: software die ze samenvoegt tot iets dat een niet-ingenieur daadwerkelijk in zijn eigen bestanden kan gebruiken.

Dat is de niche die SCM inneemt, en de ontvangst ervan suggereert dat de jeuk reëel is. De repository verzamelde in ongeveer een dag 160 sterren en acht forks, waarbij commentatoren van Hacker News hun vragen concentreerden op modelgroottes, indexeringssnelheid en Windows-beschikbaarheid - momenteel is het antwoord op de laatste nee, aangezien het project voorlopig alleen voor macOS is.

Het project is vrijgegeven onder de MIT-licentie, die commercieel gebruik en wijziging mogelijk maakt. Voor iedereen met een groot, ongeorganiseerd archief van foto's en schermopnamen, en een principiële afkeer van het ergens uploaden ervan, is dit een van de meest overtuigende demonstraties tot nu toe dat een volledig lokale mediazoekmachine niet langer een onderzoeksdemo is - het is een middaginstallatie.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →