Yeni bir açık kaynaklı proje, bir anıyı bulmanın en hızlı yolunun onu tanımlamak olduğunu ve aramanın asla dizüstü bilgisayarınızdan çıkmaması gerektiğini iddia ediyor. Screen Memories'in kısaltması olan SCM, yerel AI modellerini bir klasördeki her fotoğrafa ve videonun her karesine uygulayarak kullanıcıların kitaplıklarında sade bir dille arama yapmasına olanak tanıyan ücretsiz bir macOS uygulamasıdır. Proje bu hafta GitHub'da göründü ve birkaç saat içinde 85'ten fazla puan aldığı Hacker News'in ön sayfasına hızla tırmandı.
İşin özü ilk bakışta basittir: SCM'yi herhangi bir klasöre yönlendirdiğinizde, medyanızda gerçekte ne olduğuna dair aranabilir bir dizin oluşturur; yalnızca dosya adları değil, aynı zamanda her görüntünün ve her videonun içindeki her sahnenin görsel içeriği. Kalabalık bir AI fotoğraf araçları alanında onu farklı kılan şey, hepsinin Mac'in kendisinde çalışmasıdır. Hesap yok, buluta yükleme yok ve telemetri yok. Modeller ilk çalıştırmada ağırlıklarını indirdikten sonra uygulama çevrimdışı çalışır. For more context on this story, see our ongoing artificial intelligence updates.
Ömür Boyu Medyayı Aramanın Beş Yolu
SCM, aramayı her biri yerel olarak çalışan farklı bir model tarafından desteklenen beş farklı modda düzenler.
Dosyalar modu, fotoğraflar ve videolar arasında tüm dosyada anlamsal arama gerçekleştirir ve sonuçları, dosya adları ve ifadelerden gelen güçlendirmelerle anlamlara göre sıralar. Sahneler daha da derine iner: Uygulama, videoları ayrı sahnelere ayırır ve her birini ayrı ayrı yerleştirir; böylece bir sorgu, dosya adında gömülü bir zaman damgası yerine doğrudan zaman koduna atlayarak sizi tam kareye yönlendirir.İki metin odaklı mod, medyanın içindeki kelimeleri yönetir. Tesseract motorunu temel alan OCR modu, görüntülerde ve video karelerinde gözle görülür şekilde bulunan metni okur ve İngilizce'nin yanı sıra açılabilen 35 ek dil paketiyle kelimenin tam anlamıyla eşleştirir. Diyalog modu, videolar üzerinde Fısıltı konuşma tanımayı çalıştırır ve belirli bir satırı bulmak için kademeli eşleme kesinliği seviyeleriyle, tam olarak konuşulan kelimeleri dizine ekler.
Son olarak, katılım LLM'ler modu, çıkarılan materyali (diyalog transkriptleri, OCR metni ve dosya adları) yerel bir sohbet bağlamına dönüştürür. Kullanıcılar kendi kitaplıkları hakkında sorular sorabiliyor ve uygulama, tümü aynı makinede çalışan bir model tarafından oluşturulan kaynak dosyalara işaret eden alıntılarla yanıtlar döndürüyor.
Özel Durumda Nasıl Çalışır?
Teknik olarak SCM, Bun araç setini paket yöneticisi ve çalışma zamanı olarak kullanan, JavaScript ile yazılmış bir Electron uygulamasıdır. Ağır işler, doğrudan uygulamada yürütülen transformatör modelleri tarafından gerçekleştirilir; varsayılan görüş modeli, yaklaşık 435 megabaytlık ağırlıkları ilk kullanımda bir kez indirilen bir CLIP çeşididir.
Endeks kendini koruyor. İzlenen klasörler yeni medyayı geldiğinde otomatik olarak içe aktarır, içerik karması yalnızca yeniden adlandırılan veya taşınan dosyaları tekilleştirir ve farklı bir modele geçiş, aramaları engellemeden kitaplığı arka plana yeniden yerleştirir. Geliştirici, menü çubuğu ve tepsi özelliklerinin, uygulamanın dağıtım için paketlendiği macOS'a özel olduğunu belirtiyor.
Gizlilik modeli satış noktasıdır. Projenin belgeleri açıktır: medya asla makineyi terk etmez, çıkarım transformatör çalışma süreleri aracılığıyla yerel olarak yürütülür ve ilk ağırlık indirmesinden sonra her şey çevrimdışı çalışır. Tıbbi görüntüler, yasal görüntüler, kişisel videolar gibi hassas arşivlere sahip kullanıcılar için bu mimari seçim bir özelliktir.
Kişisel Arşivler için Geliştirildi
Arayüz aynı kişiselleştirme felsefesini yansıtıyor. Herhangi bir sorgu yeniden kullanılabilir bir sekme olarak kaydedilebilir, böylece ifade edilmesi biraz zaman alan bir arama, kitaplık üzerinde kalıcı bir görünüm haline gelir. Uygulama aynı zamanda değiştirilebilir Ekran Görüntüleri ve E-posta sekmeleriyle birlikte gelir; bu, modern bir Mac'in ekran görüntülerini ve ekleri, işletim sisteminin kendi aramasını hızla aşan bir hızda biriktirdiğini kabul eder.
Bunun altında yatan teknik, artık standart olan semantik arama mekanizmasıdır: bir görüntü modeli, her görüntüyü ve video sahnesini sayısal bir yerleştirmeye dönüştürür ve eşleşmenin anahtar kelime örtüşmesi yerine anlam yoluyla gerçekleşmesi için sorgular aynı şekilde gömülür. Burada dikkat çeken şey teknik değil paketlemedir; bulut fotoğraf hizmetlerinin sunucu çiftliklerinde çalıştırdığı aynı işlem hattı, geliştirici olmayan birinin kendi seçtikleri klasörler üzerinde gözetimsiz olarak kurup çalıştırabileceği bir Electron uygulamasına sıkıştırılmıştır.
Yerel Yapay Zekaya Doğru Daha Büyük Bir Geçişin Parçası
SCM, tüketici donanımlarında yetenekli yapay zeka modellerinin çalıştırılmasının yenilikten beklentiye dönüşmesiyle ortaya çıktı. Apple, anlamsal aramayı sürekli olarak kendi Fotoğraflar uygulamasına aktarırken, açık kaynaklı konuşma, görüntü ve metin modelleri dizüstü bilgisayarlarda rahatça çalışabilecek boyutlara küçüldü. Geriye kalan şey, temel modeller değil, entegrasyon katmanıdır; bunları mühendis olmayan birinin kendi dosyalarında gerçekten kullanabileceği bir şeye bağlayan yazılımdır.
Bu, SCM'nin işgal ettiği niş ve alımı kaşıntının gerçek olduğunu gösteriyor. Depo, kabaca bir günde 160 yıldız ve sekiz çatal topladı; Hacker News yorumcuları sorularını model boyutları, indeksleme hızı ve Windows kullanılabilirliği üzerine yoğunlaştırdı. Proje şimdilik yalnızca macOS olduğundan sonuncusunun cevabı şu anda hayır.
Proje, ticari kullanıma ve modifikasyona izin veren MIT lisansı altında yayınlandı. Fotoğraflardan ve ekran kayıtlarından oluşan geniş, düzensiz bir arşive sahip olan ve bunları herhangi bir yere yüklemeyi prensip olarak sevmeyen herkes için bu, tamamen yerel bir medya arama motorunun artık bir araştırma demosu olmadığının en ilgi çekici kanıtlarından biridir; öğleden sonra yapılan bir kurulumdur.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
