Projek sumber terbuka baharu mempertaruhkan bahawa cara terpantas untuk mencari memori adalah dengan menerangkannya — dan carian itu tidak boleh meninggalkan komputer riba anda. SCM, singkatan dari Screen Memories, ialah aplikasi macOS percuma yang menggunakan model AI tempatan pada setiap foto dan setiap bingkai video dalam folder, membenarkan pengguna mencari perpustakaan mereka dalam bahasa biasa. Projek itu muncul di GitHub minggu ini dan dengan cepat naik ke muka depan Berita Hacker, di mana ia menarik lebih daripada 85 mata dalam beberapa jam.
Padangnya mudah di permukaan: arahkan SCM pada mana-mana folder, dan ia membina indeks yang boleh dicari tentang perkara yang sebenarnya dalam media anda — bukan hanya nama fail, tetapi kandungan visual setiap imej dan setiap adegan dalam setiap video. Apa yang membezakannya dalam bidang alat foto AI yang sesak ialah semuanya berjalan pada Mac itu sendiri. Tiada akaun, tiada muat naik awan dan tiada telemetri. Setelah model memuat turun pemberat mereka pada larian pertama, apl itu berfungsi di luar talian. For more context on this story, see our ongoing AI industry coverage.
Lima Cara Mencari Media Sepanjang Hayat
SCM mengatur carian ke dalam lima mod berbeza, setiap satu dikuasakan oleh model berbeza yang dijalankan secara tempatan.
Mod Fail melakukan carian semantik keseluruhan fail merentas foto dan video, menyusun keputusan mengikut makna dengan rangsangan daripada nama fail dan frasa. Adegan menjadi lebih mendalam: apl membahagikan video ke dalam adegan individu dan membenamkan setiap satu secara berasingan, jadi pertanyaan membawa anda pada tangkapan yang tepat, dengan lompatan terus ke kod masanya dan bukannya cap waktu yang terkubur dalam nama fail.
Dua mod fokus teks mengendalikan perkataan di dalam media. Mod OCR, dibina pada enjin Tesseract, membaca teks yang boleh dilihat dengan jelas dalam imej dan bingkai video dan memadankannya secara literal, dengan bahasa Inggeris ditambah 35 pek bahasa tambahan yang boleh dihidupkan. Mod Dialog menjalankan pengecaman pertuturan Whisper ke atas video dan mengindeks perkataan yang dituturkan dengan tepat, dengan tahap ketepatan padanan bertingkat untuk memburu baris tertentu.
Akhir sekali, mod ikut serta LLMs menukarkan bahan yang diekstrak — transkrip dialog, teks OCR dan nama fail — ke dalam konteks sembang setempat. Pengguna boleh bertanya soalan tentang pustaka mereka sendiri dan apl mengembalikan jawapan dengan petikan yang menunjuk kembali ke fail sumber, semuanya dijana oleh model yang dijalankan pada mesin yang sama.
Cara Ia Berfungsi Di Bawah Tudung
Secara teknikal, SCM ialah aplikasi Elektron yang ditulis dalam JavaScript, menggunakan kit alat Bun sebagai pengurus pakej dan masa jalannya. Pengangkatan berat dilakukan oleh model pengubah yang dilaksanakan terus dalam apl — model penglihatan lalai ialah varian CLIP yang beratnya, kira-kira 435 megabait, dimuat turun sekali pada penggunaan pertama.
Indeks mengekalkan dirinya. Folder yang ditonton mengimport media baharu secara automatik apabila ia tiba, pencincangan kandungan menyahduplikasi fail yang baru sahaja dinamakan semula atau dialihkan dan bertukar kepada model lain membenamkan semula pustaka di latar belakang tanpa menyekat carian. Pembangun menyatakan bahawa ciri bar menu dan dulang adalah khusus untuk macOS, di mana apl itu dibungkus untuk pengedaran.
Model privasi adalah titik jualan. Dokumentasi projek adalah eksplisit: media tidak pernah meninggalkan mesin, inferens berjalan secara setempat melalui masa jalan pengubah, dan selepas muat turun berat awal semuanya berfungsi di luar talian. Bagi pengguna yang mempunyai arkib sensitif — imejan perubatan, rakaman undang-undang, video peribadi — pilihan seni bina ialah cirinya.
Dibina untuk Arkib Peribadi
Antara muka mencerminkan falsafah penyesuaian yang sama. Sebarang pertanyaan boleh disimpan sebagai tab boleh guna semula, jadi carian yang mengambil sedikit masa untuk frasa menjadi paparan kekal ke atas pustaka. Aplikasi ini juga dihantar dengan tab Tangkapan Skrin dan E-mel boleh togol, mengakui bahawa Mac moden mengumpul tangkapan skrin dan lampiran pada kadar yang cepat mengatasi carian sistem pengendalian itu sendiri.
Teknik asas ialah jentera carian semantik yang kini standard: model penglihatan menukar setiap imej dan pemandangan video kepada pembenaman berangka, dan pertanyaan dibenamkan dengan cara yang sama supaya pemadanan berlaku mengikut makna dan bukannya pertindihan kata kunci. Apa yang ketara di sini bukanlah teknik tetapi pembungkusan — saluran paip yang sama yang perkhidmatan foto awan dijalankan di ladang pelayan dimampatkan ke dalam aplikasi Electron yang boleh dipasang dan dijalankan oleh bukan pembangun tanpa pengawasan atas folder pilihan mereka.
Sebahagian daripada Anjakan Lebih Besar Ke Arah AI Setempat
SCM tiba kerana model AI yang mampu menjalankan pada perkakasan pengguna telah berubah daripada kebaharuan kepada jangkaan. Apple telah mendorong carian semantik secara berterusan ke dalam apl Fotonya sendiri, manakala model pertuturan, penglihatan dan teks sumber terbuka telah mengecil kepada saiz yang berjalan dengan selesa pada komputer riba. Apa yang masih terhad bukanlah model asas tetapi lapisan penyepaduan — perisian yang menghubungkannya menjadi sesuatu yang sebenarnya boleh digunakan oleh bukan jurutera pada fail mereka sendiri.
Itulah niche yang diduduki SCM, dan penerimaannya menunjukkan bahawa gatal itu nyata. Repositori itu mengumpulkan 160 bintang dan lapan garpu dalam kira-kira sehari, dengan pengulas Berita Hacker memfokuskan soalan mereka pada saiz model, kelajuan pengindeksan dan ketersediaan Windows — pada masa ini jawapan kepada yang terakhir adalah tidak, kerana projek itu hanya macOS buat masa ini.
Projek ini dikeluarkan di bawah lesen MIT, yang membenarkan penggunaan dan pengubahsuaian komersil. Bagi sesiapa yang mempunyai arkib foto dan rakaman skrin yang besar dan tidak teratur, dan tidak suka berprinsip untuk memuat naiknya di mana-mana, ini adalah salah satu demonstrasi yang lebih menarik lagi bahawa enjin carian media tempatan sepenuhnya bukan lagi demo penyelidikan — ia adalah pemasangan petang.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
