Новий проект із відкритим вихідним кодом робить ставку на те, що найшвидший спосіб знайти спогад — це описати його — і що пошук не повинен залишати ваш ноутбук. SCM, скорочення від Screen Memories, — це безкоштовна програма для macOS, яка застосовує локальні моделі штучного інтелекту до кожної фотографії та кожного кадру відео в папці, дозволяючи користувачам здійснювати пошук у своїх бібліотеках простою мовою. Цього тижня проект з’явився на GitHub і швидко піднявся на першу сторінку Hacker News, де за кілька годин набрав понад 85 балів.
Зовні проста ідея: наведіть SCM на будь-яку папку, і він створить доступний для пошуку індекс того, що насправді є у вашому медіафайлі — не лише назви файлів, а й візуальний вміст кожного зображення та кожної сцени в кожному відео. Що виділяє його серед переповненого поля фотоінструментів штучного інтелекту, так це те, що всі вони працюють на самому Mac. Немає облікових записів, завантажень у хмару та телеметрії. Після того, як моделі завантажать свої ваги під час першого запуску, програма працює в автономному режимі. For more context on this story, see our ongoing AI trends.
П'ять способів пошуку медіа за все життя
SCM організовує пошук за п’ятьма різними режимами, кожен з яких працює на основі окремої локальної моделі.
Режим Файли виконує семантичний пошук по всьому файлу серед фотографій і відео, ранжуючи результати за значенням із посиленням назв файлів і фраз. Сцени є глибшими: програма сегментує відео на окремі сцени та вставляє кожну окремо, тож запит спрямовує вас на точний знімок із переходом безпосередньо до його часового коду, а не до мітки часу, закладеної в назві файлу.
Два режими, орієнтовані на текст, обробляють слова в медіа. Режим OCR, побудований на механізмі Tesseract, читає текст, який видимо присутній на зображеннях і відеокадрах, і буквально збігає його з англійською та 35 додатковими мовними пакетами, які можна ввімкнути. Режим Діалог запускає розпізнавання мовлення Whisper для відео та індексує точні вимовлені слова з багаторівневими рівнями точності відповідності для пошуку певного рядка.
Нарешті, режим LLMs з підтримкою дозволу перетворює витягнутий матеріал — стенограми діалогів, OCR-текст і назви файлів — у локальний контекст чату. Користувачі можуть ставити запитання про власну бібліотеку, а програма повертає відповіді з цитатами, що вказують на вихідні файли, усі згенеровані моделлю, що працює на тій же машині.
Як це працює під капотом
Технічно SCM — це програма Electron, написана на JavaScript, яка використовує інструментарій Bun як менеджер пакетів і середовище виконання. Важка робота виконується моделями трансформаторів, створеними безпосередньо в додатку — модель зору за замовчуванням — це варіант CLIP, вага якого приблизно 435 мегабайт завантажується під час першого використання.
Індекс підтримує себе. Переглянуті папки автоматично імпортують нові мультимедійні файли, коли вони надходять, хешування вмісту видаляє дублікати файлів, які були просто перейменовані або переміщені, а перехід до іншої моделі повторно вставляє бібліотеку у фоновий режим без блокування пошуку. Розробник зазначає, що функції панелі меню та трея є специфічними для macOS, де додаток упаковано для розповсюдження.
Модель конфіденційності є головною перевагою. Документація проекту чітка: носій ніколи не покидає машину, висновок виконується локально через середовище виконання трансформатора, і після початкового завантаження ваги все працює в автономному режимі. Для користувачів із конфіденційними архівами — медичними зображеннями, юридичними кадрами, особистим відео — вибір архітектури є особливою особливістю.
Створено для особистих архівів
Інтерфейс відображає ту саму філософію налаштування. Будь-який запит можна зберегти як багаторазову вкладку, тож пошуковий запит, для якого знадобилася певна хвилина, стає постійним переглядом бібліотеки. Програма також постачається з перемикаючими вкладками «Знімки екрана» та «Електронна пошта», визнаючи, що сучасний Mac накопичує знімки екрана та вкладення зі швидкістю, яка швидко переростає власний пошук операційної системи.
Техніка, що лежить в основі, — це вже стандартний механізм семантичного пошуку: модель бачення перетворює кожне зображення та відеосцену на числове вбудовування, а запити вбудовуються таким же чином, щоб відповідність відбувалася за значенням, а не за накладанням ключових слів. Що тут важливо, так це не техніка, а упаковка — той самий конвеєр, який хмарні фотосервіси запускають на фермах серверів, стискається в програму Electron, яку нерозробник може встановити та запускати без нагляду в папках на свій вибір.
Частина більшого переходу до локального ШІ
SCM з’являється в той момент, коли запуск здатних моделей штучного інтелекту на споживчому обладнанні перейшов від новинки до очікування. Apple постійно впроваджує семантичний пошук у свій власний додаток Photos, тоді як моделі мови, зображення та тексту з відкритим кодом зменшилися до розмірів, які зручно використовувати на ноутбуках. Те, що залишається дефіцитом, — це не базові моделі, а інтеграційний рівень — програмне забезпечення, яке об’єднує їх у щось, що неінженер може фактично використовувати у своїх власних файлах.
Це ніша, яку займає SCM, і його прийом говорить про те, що свербіж справжній. Репозиторій зібрав 160 зірочок і вісім розгалужень приблизно за день, а коментатори Hacker News зосередили свої запитання на розмірах моделей, швидкості індексування та доступності Windows — наразі відповідь на останнє — ні, оскільки поки що проект працює лише для macOS.
Проект випущено за ліцензією MIT, яка дозволяє комерційне використання та модифікацію. Для будь-кого, хто має великий невпорядкований архів фотографій і записів екрана та принципово не хоче завантажувати його куди завгодно, це одна з найпереконливіших демонстрацій того, що повністю локальна медіа-пошукова система більше не є дослідницькою демонстрацією — це інсталяція після обіду.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
