Un nouveau projet open source parie que le moyen le plus rapide de trouver une mémoire est de la décrire – et que la recherche ne devrait jamais quitter votre ordinateur portable. SCM, abréviation de Screen Memories, est une application macOS gratuite qui applique des modèles d'IA locaux à chaque photo et chaque image vidéo d'un dossier, permettant aux utilisateurs de rechercher dans leurs bibliothèques en langage simple. Le projet est apparu sur GitHub cette semaine et a rapidement fait la une de Hacker News, où il a attiré plus de 85 points en quelques heures.
Le pitch est simple en apparence : pointez SCM sur n'importe quel dossier et il crée un index consultable de ce qui se trouve réellement dans vos médias - pas seulement les noms de fichiers, mais le contenu visuel de chaque image et de chaque scène à l'intérieur de chaque vidéo. Ce qui le distingue dans un domaine encombré d’outils photo IA, c’est que tout cela fonctionne sur le Mac lui-même. Il n'y a pas de comptes, pas de téléchargements cloud et pas de télémétrie. Une fois que les modèles téléchargent leurs poids lors de la première exécution, l'application fonctionne hors ligne. Pour plus de contexte sur cette histoire, consultez notre couverture de l'industrie de l'IA.
Cinq façons de rechercher des médias à vie
SCM organise la recherche en cinq modes distincts, chacun alimenté par un modèle différent exécuté localement.
Le mode Fichiers effectue une recherche sémantique de fichiers entiers sur les photos et les vidéos, en classant les résultats par signification avec des améliorations des noms de fichiers et des expressions. Scènes va plus loin : l'application segmente les vidéos en scènes individuelles et intègre chacune d'entre elles séparément, de sorte qu'une requête vous amène au plan exact, avec un saut direct vers son code temporel plutôt qu'un horodatage enfoui dans un nom de fichier.
Deux modes axés sur le texte gèrent les mots à l'intérieur des médias. Le mode OCR, basé sur le moteur Tesseract, lit le texte visiblement présent dans les images et les images vidéo et le fait correspondre littéralement, avec l'anglais et 35 modules linguistiques supplémentaires pouvant être activés. Le mode Dialogue exécute la reconnaissance vocale Whisper sur les vidéos et indexe les mots exacts prononcés, avec des niveaux d'exactitude de correspondance à plusieurs niveaux pour rechercher une ligne spécifique.
Enfin, un mode LLMs opt-in transforme le matériel extrait (transcriptions de dialogue, texte OCR et noms de fichiers) dans un contexte de discussion local. Les utilisateurs peuvent poser des questions sur leur propre bibliothèque et l'application renvoie des réponses avec des citations pointant vers les fichiers sources, tous générés par un modèle exécuté sur la même machine.
Comment ça marche sous le capot
Techniquement, SCM est une application Electron écrite en JavaScript, utilisant la boîte à outils Bun comme gestionnaire de packages et moteur d'exécution. Le gros du travail est effectué par des modèles de transformateur exécutés directement dans l'application - le modèle de vision par défaut est une variante CLIP dont le poids, environ 435 mégaoctets, est téléchargé une fois lors de la première utilisation.
L'index se maintient. Les dossiers surveillés importent automatiquement les nouveaux médias dès leur arrivée, le hachage du contenu déduplique les fichiers qui ont simplement été renommés ou déplacés et le passage à un modèle différent réintègre la bibliothèque en arrière-plan sans bloquer les recherches. Le développeur note que les fonctionnalités de la barre de menus et de la barre d'état sont spécifiques à macOS, où l'application est emballée pour la distribution.
Le modèle de confidentialité est l’argument de vente. La documentation du projet est explicite : le média ne quitte jamais la machine, l'inférence s'exécute localement via les environnements d'exécution du transformateur et, après le téléchargement initial du poids, tout fonctionne hors ligne. Pour les utilisateurs disposant d’archives sensibles – images médicales, séquences juridiques, vidéos personnelles – ce choix architectural est la fonctionnalité.
Conçu pour les archives personnelles
L'interface reflète la même philosophie de personnalisation. Toute requête peut être enregistrée sous forme d'onglet réutilisable, de sorte qu'une recherche qui a pris un moment à être formulée devient une vue permanente de la bibliothèque. L'application est également livrée avec des onglets commutables Captures d'écran et E-mail, reconnaissant qu'un Mac moderne accumule des captures d'écran et des pièces jointes à un rythme qui dépasse rapidement la propre recherche du système d'exploitation.
La technique sous-jacente est la machinerie désormais standard de recherche sémantique : un modèle de vision convertit chaque image et scène vidéo en une intégration numérique, et les requêtes sont intégrées de la même manière, de sorte que la correspondance se produit par signification plutôt que par chevauchement de mots clés. Ce qui est remarquable ici n'est pas la technique mais l'emballage : le même pipeline que les services de photo cloud exécutés sur les batteries de serveurs est compressé dans une application Electron qu'un non-développeur peut installer et exécuter sans surveillance sur les dossiers de son choix.
Fait partie d'un changement plus large vers l'IA locale
Le SCM arrive alors que l’exécution de modèles d’IA performants sur du matériel grand public est passée du statut de nouveauté à celui d’attente. Apple a progressivement poussé la recherche sémantique dans sa propre application Photos, tandis que les modèles open source de parole, de vision et de texte ont été réduits à des tailles qui fonctionnent confortablement sur les ordinateurs portables. Ce qui reste rare, ce ne sont pas les modèles sous-jacents mais la couche d’intégration – un logiciel qui les relie en quelque chose qu’un non-ingénieur peut réellement utiliser sur ses propres fichiers.
C’est le créneau qu’occupe le SCM, et sa réception suggère que la démangeaison est réelle. Le référentiel a collecté 160 étoiles et huit forks en une journée environ, les commentateurs de Hacker News concentrant leurs questions sur la taille des modèles, la vitesse d'indexation et la disponibilité de Windows. Actuellement, la réponse à la dernière est non, car le projet est uniquement pour macOS pour l'instant.
Le projet est publié sous la licence MIT, qui permet une utilisation commerciale et une modification. Pour quiconque possède une archive volumineuse et désorganisée de photos et d’enregistrements d’écran, et qui n’aime pas par principe les télécharger n’importe où, c’est l’une des démonstrations les plus convaincantes à ce jour qu’un moteur de recherche de médias entièrement local n’est plus une démonstration de recherche – c’est une installation d’après-midi.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
