Nowy projekt open source zakłada, że najszybszym sposobem na znalezienie wspomnienia jest jego opisanie i że wyszukiwanie nigdy nie powinno opuszczać laptopa. SCM, skrót od Screen Memories, to bezpłatna aplikacja dla systemu macOS, która stosuje lokalne modele sztucznej inteligencji do każdego zdjęcia i każdej klatki wideo w folderze, umożliwiając użytkownikom przeszukiwanie bibliotek prostym językiem. Projekt pojawił się w tym tygodniu na GitHubie i szybko wspiął się na pierwszą stronę Hacker News, gdzie w ciągu kilku godzin zebrał ponad 85 punktów.
Z pozoru zasada jest prosta: skieruj SCM na dowolny folder, a utworzy on przeszukiwalny indeks zawartości multimediów — nie tylko nazw plików, ale także zawartości wizualnej każdego obrazu i każdej sceny w każdym filmie. To, co wyróżnia go na zatłoczonym polu narzędzi fotograficznych AI, to to, że wszystko działa na samym komputerze Mac. Nie ma kont, nie ma przesyłania danych do chmury i nie ma telemetrii. Gdy modele pobiorą swoje ciężary przy pierwszym uruchomieniu, aplikacja działa w trybie offline. Więcej kontekstu na ten temat znajdziesz w naszych trendy AI.
Pięć sposobów na przeszukiwanie całego życia multimediów
SCM organizuje wyszukiwanie w pięciu różnych trybach, każdy oparty na innym modelu działającym lokalnie.
Tryb Pliki umożliwia przeszukiwanie semantyczne całych plików zdjęć i filmów, a także klasyfikuje wyniki według znaczenia, wzbogacając je o nazwy plików i frazy. Sceny sięgają głębiej: aplikacja dzieli filmy na pojedyncze sceny i osadza każdą z nich osobno, dzięki czemu zapytanie pozwala uzyskać dokładne ujęcie i przejść bezpośrednio do jego kodu czasowego, a nie do znacznika czasu ukrytego w nazwie pliku.
Dwa tryby skupione na tekście obsługują słowa w mediach. Tryb OCR, oparty na silniku Tesseract, odczytuje tekst widoczny na obrazach i klatkach wideo i dopasowuje go dosłownie, łącznie z językiem angielskim i 35 dodatkowymi pakietami językowymi, które można włączyć. Tryb Dialog uruchamia rozpoznawanie mowy szeptem w filmach i indeksuje dokładnie wypowiedziane słowa, z wielopoziomowymi poziomami dokładności dopasowania w celu znalezienia określonej linii.
Wreszcie, opcjonalny tryb LLM przekształca wyodrębniony materiał – transkrypcje dialogów, tekst OCR i nazwy plików – w kontekst lokalnego czatu. Użytkownicy mogą zadawać pytania dotyczące własnej biblioteki, a aplikacja zwraca odpowiedzi wraz z cytatami wskazującymi na pliki źródłowe, wszystkie wygenerowane przez model działający na tym samym komputerze.
Jak to działa pod maską
Technicznie rzecz biorąc, SCM jest aplikacją Electron napisaną w JavaScript, wykorzystującą zestaw narzędzi Bun jako menedżera pakietów i środowisko wykonawcze. Za ciężkie prace odpowiadają modele transformatorów uruchamiane bezpośrednio w aplikacji — domyślnym modelem wizyjnym jest wariant CLIP, którego waga wynosząca około 435 megabajtów jest pobierana przy pierwszym użyciu.
Indeks sam się utrzymuje. Obserwowane foldery automatycznie importują nowe multimedia po ich otrzymaniu, mieszanie treści deduplikuje pliki, których nazwa została jedynie zmieniona lub przeniesiona, a przejście na inny model ponownie osadza bibliotekę w tle bez blokowania wyszukiwania. Deweloper zauważa, że funkcje paska menu i zasobnika są specyficzne dla systemu macOS, w którym aplikacja jest spakowana do dystrybucji.
Model prywatności jest zaletą. Dokumentacja projektu jest jednoznaczna: nośnik nigdy nie opuszcza maszyny, wnioskowanie przebiega lokalnie w środowisku wykonawczym transformatora, a po początkowym pobraniu wagi wszystko działa w trybie offline. Dla użytkowników posiadających wrażliwe archiwa – zdjęcia medyczne, materiały prawne, osobiste nagrania wideo – właściwym rozwiązaniem jest wybór architektury.
Stworzony dla archiwów osobistych
Interfejs odzwierciedla tę samą filozofię dostosowywania. Każde zapytanie można zapisać jako kartę wielokrotnego użytku, więc wyszukiwanie, którego sformułowanie zajęło chwilę, staje się stałym widokiem w bibliotece. Aplikacja zawiera także przełączane zakładki Zrzuty ekranu i E-maile, co potwierdza, że nowoczesny komputer Mac gromadzi zrzuty ekranu i załączniki w tempie, które szybko przekracza możliwości wyszukiwania systemu operacyjnego.
Podstawową techniką jest obecnie standardowy mechanizm wyszukiwania semantycznego: model wizyjny przekształca każdy obraz i scenę wideo w osadzenie liczbowe, a zapytania są osadzane w ten sam sposób, dzięki czemu dopasowywanie odbywa się na podstawie znaczenia, a nie nakładania się słów kluczowych. Godna uwagi nie jest tu technika, ale opakowanie — ten sam potok, który usługi fotograficzne w chmurze działają na farmach serwerów, jest skompresowany do aplikacji Electron, którą osoby niebędące programistami mogą zainstalować i uruchomić bez nadzoru w wybranych przez siebie folderach.
Część większej zmiany w kierunku lokalnej sztucznej inteligencji
SCM pojawia się w momencie, gdy uruchamianie modeli sztucznej inteligencji na sprzęcie konsumenckim przestało być nowością, a stało się oczekiwaniem. Firma Apple stale wprowadza wyszukiwanie semantyczne do swojej własnej aplikacji Zdjęcia, podczas gdy modele mowy, obrazu i tekstu typu open source skurczyły się do rozmiarów, które wygodnie działają na laptopach. Brakuje nie samych modeli, ale warstwy integracyjnej — oprogramowania, które łączy je w coś, czego osoba niebędąca inżynierem może faktycznie używać we własnych plikach.
To nisza, którą zajmuje SCM, a jej odbiór sugeruje, że swędzenie jest prawdziwe. W repozytorium zebrano 160 gwiazdek i osiem forków mniej więcej w ciągu jednego dnia, a komentatorzy Hacker News skupiali się na pytaniach dotyczących rozmiarów modeli, szybkości indeksowania i dostępności systemu Windows — obecnie odpowiedź na to ostatnie brzmi „nie”, ponieważ projekt jest na razie przeznaczony wyłącznie dla systemu macOS.
Projekt udostępniany jest na licencji MIT, która pozwala na komercyjne wykorzystanie i modyfikację. Dla każdego, kto ma duże, zdezorganizowane archiwum zdjęć i nagrań ekranu oraz zasadniczą niechęć do przesyłania go gdziekolwiek, jest to jeden z bardziej przekonujących dowodów na to, że w pełni lokalna wyszukiwarka mediów nie jest już wersją demonstracyjną do celów badawczych — jest to popołudniowa instalacja.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
