یک پروژه منبع باز جدید شرط می‌بندد که سریع‌ترین راه برای یافتن حافظه، توصیف آن است – و این که جستجو هرگز نباید لپ‌تاپ شما را ترک کند. SCM، مخفف Screen Memories، یک برنامه macOS رایگان است که مدل‌های هوش مصنوعی محلی را برای هر عکس و هر فریم ویدیو در یک پوشه اعمال می‌کند و به کاربران اجازه می‌دهد کتابخانه‌های خود را به زبان ساده جستجو کنند. این پروژه این هفته در GitHub ظاهر شد و به سرعت به صفحه اول Hacker News صعود کرد، جایی که در عرض چند ساعت بیش از 85 امتیاز به دست آورد.

زیر و بم در ظاهر ساده است: SCM را در هر پوشه ای قرار دهید، و یک فهرست قابل جستجو از آنچه در رسانه شما وجود دارد ایجاد می کند - نه فقط نام فایل، بلکه محتوای بصری هر تصویر و هر صحنه در داخل هر ویدیو. چیزی که آن را در زمینه شلوغی از ابزارهای عکس هوش مصنوعی متمایز می کند این است که همه آن بر روی خود مک اجرا می شود. هیچ حساب کاربری، هیچ بارگذاری ابری و هیچ تله متری وجود ندارد. هنگامی که مدل ها وزن خود را در اولین اجرا دانلود می کنند، برنامه به صورت آفلاین کار می کند. For more context on this story, see our ongoing AI industry coverage.

پنج راه برای جستجوی یک عمر رسانه

SCM جستجو را در پنج حالت متمایز سازماندهی می‌کند که هر کدام توسط یک مدل متفاوت که به صورت محلی اجرا می‌شود، نیرو می‌گیرد.

حالت Files جستجوی معنایی کل فایل را در بین عکس‌ها و ویدیوها انجام می‌دهد و نتایج را بر اساس معنی با افزایش نام فایل‌ها و عبارات رتبه‌بندی می‌کند. صحنه‌ها عمیق‌تر می‌شود: برنامه ویدیوها را به صحنه‌های جداگانه تقسیم می‌کند و هر کدام را جداگانه جاسازی می‌کند، بنابراین یک پرس‌وجو شما را دقیقاً روی عکس قرار می‌دهد، با یک پرش مستقیم به کد زمانی آن به جای مهر زمانی که در نام فایل مدفون است.

دو حالت متمرکز بر متن، کلمات داخل رسانه را مدیریت می کنند. حالت OCR ​​که بر روی موتور Tesseract ساخته شده است، متنی را می خواند که به وضوح در تصاویر و فریم های ویدیویی وجود دارد و به معنای واقعی کلمه با آن مطابقت دارد، به همراه 35 بسته زبان اضافی که می توان آنها را روشن کرد. حالت Dialogue تشخیص گفتار Whisper را روی ویدیوها اجرا می‌کند و کلمات گفتاری دقیق را فهرست‌بندی می‌کند، با سطوح مرتبی از دقت مطابقت برای شکار یک خط خاص.

در نهایت، یک حالت انتخابی LLMs مطالب استخراج شده - رونوشت های گفتگو، متن OCR و نام فایل ها - را به یک زمینه چت محلی تبدیل می کند. کاربران می‌توانند درباره کتابخانه خود سؤال بپرسند، و برنامه پاسخ‌ها را با نقل‌قول‌هایی که به فایل‌های منبع بازمی‌گردند، برمی‌گرداند که همگی توسط مدلی که روی یک دستگاه اجرا می‌شود، تولید شده‌اند.

چگونه زیر سرپوش کار می کند

از نظر فنی، SCM یک برنامه الکترونیکی است که در جاوا اسکریپت نوشته شده و از جعبه ابزار Bun به عنوان مدیر بسته و زمان اجرا استفاده می کند. بلند کردن سنگین توسط مدل‌های ترانسفورماتور که مستقیماً در برنامه اجرا می‌شوند انجام می‌شود - مدل دید پیش‌فرض یک نوع CLIP است که وزن آن، تقریباً 435 مگابایت، یک بار در اولین استفاده دانلود می‌شود.

شاخص خودش را حفظ می کند. پوشه‌های تماشا شده، رسانه‌های جدید را به‌طور خودکار وارد می‌کنند، هش محتوا فایل‌هایی را که صرفاً تغییر نام داده یا منتقل شده‌اند حذف می‌کند، و تغییر به مدلی دیگر، کتابخانه را بدون مسدود کردن جستجوها دوباره در پس‌زمینه جاسازی می‌کند. توسعه‌دهنده اشاره می‌کند که ویژگی‌های نوار منو و سینی مخصوص macOS هستند، جایی که برنامه برای توزیع بسته‌بندی شده است.

مدل حریم خصوصی نقطه فروش است. مستندات پروژه صریح است: رسانه ها هرگز دستگاه را ترک نمی کنند، استنتاج به صورت محلی در طول زمان اجرا ترانسفورماتور اجرا می شود، و پس از بارگیری وزن اولیه، همه چیز به صورت آفلاین کار می کند. برای کاربران با آرشیوهای حساس - تصاویر پزشکی، فیلم قانونی، ویدیوی شخصی - این انتخاب معماری ویژگی است.

برای آرشیوهای شخصی ساخته شده است

رابط کاربری همان فلسفه سفارشی سازی را منعکس می کند. هر درخواستی را می‌توان به‌عنوان یک برگه قابل استفاده مجدد ذخیره کرد، بنابراین جستجویی که برای عبارت آن یک لحظه طول می‌کشد، به نمای دائمی کتابخانه تبدیل می‌شود. این برنامه همچنین دارای برگه‌های Screenshots و Email قابل تغییر است و اذعان می‌کند که مک مدرن تصاویر و پیوست‌ها را با سرعتی جمع‌آوری می‌کند که به سرعت از جستجوی خود سیستم عامل بیشتر می‌شود.

تکنیک زیربنایی، ماشین استاندارد اکنون جستجوی معنایی است: یک مدل دید، هر تصویر و صحنه ویدیویی را به یک جاسازی عددی تبدیل می‌کند، و پرس‌و‌جوها به همان شیوه جاسازی می‌شوند تا تطبیق بر اساس معنا اتفاق بیفتد تا همپوشانی کلمات کلیدی. آنچه در اینجا قابل توجه است تکنیک نیست، بلکه بسته بندی است - همان خط لوله ای که خدمات عکس ابری در مزارع سرور اجرا می شود در یک برنامه Electron فشرده می شود که یک غیر توسعه دهنده می تواند آن را نصب کرده و بدون نظارت روی پوشه های مورد نظر خود اجرا کند.

بخشی از یک تغییر بزرگتر به سمت هوش مصنوعی محلی

SCM در حالی وارد می‌شود که اجرای مدل‌های هوش مصنوعی توانمند بر روی سخت‌افزار مصرف‌کننده از تازگی به انتظار تبدیل شده است. اپل به طور پیوسته جستجوی معنایی را به برنامه Photos خود اضافه کرده است، در حالی که مدل‌های گفتار، دید و متن منبع باز به اندازه‌هایی کوچک شده‌اند که به راحتی در لپ‌تاپ‌ها اجرا می‌شوند. چیزی که کمیاب باقی می‌ماند، مدل‌های زیربنایی نیست، بلکه لایه یکپارچه‌سازی است - نرم‌افزاری که آنها را به هم متصل می‌کند تا چیزی که یک غیر مهندس واقعاً می‌تواند روی فایل‌های خود استفاده کند.

این جایگاهی است که SCM اشغال می کند، و دریافت آن نشان می دهد که خارش واقعی است. این مخزن تقریباً در یک روز 160 ستاره و هشت فورک جمع‌آوری می‌کند، با نظرات نظر دهندگان Hacker News سوالات خود را بر روی اندازه مدل، سرعت نمایه‌سازی و در دسترس بودن ویندوز متمرکز می‌کنند – در حال حاضر پاسخ آخرین مورد منفی است، زیرا پروژه در حال حاضر فقط دارای macOS است.

این پروژه تحت مجوز MIT منتشر شده است که اجازه استفاده تجاری و اصلاح را می دهد. برای هر کسی که بایگانی بزرگ و نامرتب از عکس‌ها و ضبط‌های صفحه نمایش دارد، و اصولاً از بارگذاری آن در هر جایی بیزار است، این یکی از نشان‌های متقاعدکننده‌تر است که یک موتور جستجوی رسانه‌های کاملاً محلی دیگر یک نسخه آزمایشی تحقیقاتی نیست - یک نصب بعد از ظهر است.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →