يراهن مشروع جديد مفتوح المصدر على أن أسرع طريقة للعثور على الذاكرة هي وصفها، وأن البحث يجب ألا يغادر جهاز الكمبيوتر المحمول الخاص بك أبدًا. SCM، وهو اختصار لـ Screen Memories، هو تطبيق مجاني لنظام التشغيل MacOS يطبق نماذج الذكاء الاصطناعي المحلية على كل صورة وكل إطار فيديو في مجلد، مما يسمح للمستخدمين بالبحث في مكتباتهم بلغة واضحة. ظهر المشروع على GitHub هذا الأسبوع وسرعان ما صعد إلى الصفحة الأولى من Hacker News، حيث حصل على أكثر من 85 نقطة في غضون ساعات.

يبدو العرض بسيطًا على السطح: قم بتوجيه SCM إلى أي مجلد، وسينشئ فهرسًا قابلاً للبحث لما هو موجود بالفعل في الوسائط الخاصة بك - ليس فقط أسماء الملفات، ولكن المحتوى المرئي لكل صورة وكل مشهد داخل كل فيديو. ما يميزه في مجال مزدحم بأدوات الصور المدعمة بالذكاء الاصطناعي هو أنه يعمل بالكامل على جهاز Mac نفسه. لا توجد حسابات ولا تحميلات سحابية ولا قياس عن بعد. بمجرد قيام العارضات بتنزيل أوزانهن عند التشغيل لأول مرة، يعمل التطبيق دون اتصال بالإنترنت. لمزيد من السياق حول هذه القصة، راجع أخبار الذكاء الاصطناعي.

خمس طرق للبحث في الوسائط مدى الحياة

ينظم SCM البحث في خمسة أوضاع متميزة، كل منها مدعوم بنموذج مختلف يعمل محليًا.

يقوم وضع الملفات بإجراء بحث دلالي للملف بالكامل عبر الصور ومقاطع الفيديو، وترتيب النتائج حسب المعنى مع التعزيزات من أسماء الملفات والعبارات. المشاهد تتعمق أكثر: يقوم التطبيق بتقسيم مقاطع الفيديو إلى مشاهد فردية ويدمج كل مقطع على حدة، بحيث يوصلك الاستعلام إلى اللقطة المحددة، مع الانتقال مباشرة إلى الرمز الزمني الخاص بها بدلاً من الطابع الزمني المدفون في اسم الملف.

يتعامل الوضعان اللذان يركزان على النص مع الكلمات الموجودة داخل الوسائط. يقرأ وضع OCR، المبني على محرك Tesseract، النص الموجود بشكل واضح في الصور وإطارات الفيديو ويطابقه حرفيًا، مع اللغة الإنجليزية بالإضافة إلى 35 حزمة لغة إضافية يمكن تشغيلها. يعمل وضع الحوار على تشغيل ميزة Whisper للتعرف على الكلام عبر مقاطع الفيديو وفهرسة الكلمات المنطوقة بدقة، مع مستويات متدرجة من دقة المطابقة للبحث عن سطر معين.

وأخيرًا، يقوم وضع LLMs بالاشتراك بتحويل المواد المستخرجة - نصوص الحوار ونص التعرف الضوئي على الحروف وأسماء الملفات - إلى سياق دردشة محلي. يمكن للمستخدمين طرح أسئلة حول مكتبتهم الخاصة، وسيقوم التطبيق بإرجاع الإجابات مع الاستشهادات التي تشير إلى الملفات المصدر، وكلها تم إنشاؤها بواسطة نموذج يعمل على نفس الجهاز.

كيف يعمل تحت الغطاء

من الناحية الفنية، SCM هو تطبيق Electron مكتوب بلغة JavaScript، باستخدام مجموعة أدوات Bun كمدير للحزم ووقت التشغيل. تتم عملية الرفع الثقيل من خلال نماذج المحولات التي يتم تنفيذها مباشرة في التطبيق - نموذج الرؤية الافتراضي هو متغير CLIP الذي يتم تنزيل أوزانه، التي تبلغ حوالي 435 ميجابايت، مرة واحدة عند الاستخدام الأول.

يحافظ المؤشر على نفسه. تقوم المجلدات المراقبة باستيراد الوسائط الجديدة تلقائيًا عند وصولها، وتقوم تجزئة المحتوى بإلغاء تكرار الملفات التي تمت إعادة تسميتها أو نقلها فقط، كما يؤدي التبديل إلى نموذج مختلف إلى إعادة تضمين المكتبة في الخلفية دون حظر عمليات البحث. يشير المطور إلى أن ميزات شريط القائمة والدرج خاصة بنظام التشغيل macOS، حيث يتم تجميع التطبيق للتوزيع.

نموذج الخصوصية هو نقطة البيع. وثائق المشروع واضحة: الوسائط لا تترك الجهاز أبدًا، ويتم تشغيل الاستدلال محليًا من خلال أوقات تشغيل المحولات، وبعد تنزيل الوزن الأولي، يعمل كل شيء دون اتصال بالإنترنت. بالنسبة للمستخدمين الذين لديهم أرشيفات حساسة - الصور الطبية، واللقطات القانونية، والفيديو الشخصي - فإن هذا الاختيار المعماري هو الميزة.

مصمم للأرشيفات الشخصية

تعكس الواجهة نفس فلسفة التخصيص. يمكن حفظ أي استعلام كعلامة تبويب قابلة لإعادة الاستخدام، وبالتالي فإن البحث الذي يستغرق دقيقة من الصياغة يصبح عرضًا دائمًا للمكتبة. يأتي التطبيق أيضًا مزودًا بلقطات شاشة قابلة للتبديل وعلامات تبويب البريد الإلكتروني، مع الاعتراف بأن جهاز Mac الحديث يجمع لقطات الشاشة والمرفقات بوتيرة تتفوق بسرعة على البحث الخاص بنظام التشغيل.

التقنية الأساسية هي آلية البحث الدلالي القياسية الآن: يقوم نموذج الرؤية بتحويل كل صورة ومشهد فيديو إلى تضمين رقمي، ويتم تضمين الاستعلامات بنفس الطريقة بحيث تحدث المطابقة عن طريق المعنى بدلاً من تداخل الكلمات الرئيسية. ما هو ملحوظ هنا ليس التقنية بل التغليف - نفس خط الأنابيب الذي يتم تشغيله من قبل خدمات الصور السحابية في مزارع الخوادم يتم ضغطه في تطبيق Electron الذي يمكن لغير المطور تثبيته وتشغيله دون مراقبة على المجلدات التي يختارها.

جزء من تحول أكبر نحو الذكاء الاصطناعي المحلي

تصل SCM مع تحول تشغيل نماذج الذكاء الاصطناعي القادرة على الأجهزة الاستهلاكية من الحداثة إلى التوقعات. لقد دفعت شركة آبل بشكل مطرد البحث الدلالي إلى تطبيق الصور الخاص بها، في حين تقلصت نماذج الكلام والرؤية والنص مفتوحة المصدر إلى أحجام يمكن تشغيلها بشكل مريح على أجهزة الكمبيوتر المحمولة. ما يظل نادرًا ليس النماذج الأساسية، بل طبقة التكامل - وهي البرامج التي تربطها معًا لتشكل شيئًا يمكن لغير المهندسين استخدامه فعليًا في ملفاتهم الخاصة.

هذا هو المكان الذي يحتله SCM، ويشير استقباله إلى أن الحكة حقيقية. جمع المستودع 160 نجمة وثمانية تشعبات في يوم واحد تقريبًا، حيث ركز معلقو Hacker News أسئلتهم على أحجام النماذج وسرعة الفهرسة وتوافر Windows - حاليًا الإجابة على السؤال الأخير هي لا، لأن المشروع يعمل بنظام macOS فقط في الوقت الحالي.

تم إصدار المشروع بموجب ترخيص MIT، الذي يسمح بالاستخدام التجاري والتعديل. بالنسبة لأي شخص لديه أرشيف كبير وغير منظم من الصور وتسجيلات الشاشة، ويكره تحميله في أي مكان، فهو أحد الأدلة الأكثر إقناعًا حتى الآن على أن محرك بحث الوسائط المحلي بالكامل لم يعد عرضًا بحثيًا - بل هو تثبيت بعد الظهر.

---

ابق على اطلاع بأخبار الذكاء الاصطناعي

آخر أخبار وتحليلات وإنجازات الذكاء الاصطناعي — في مكان واحد.

اقرأ المزيد من أخبار الذكاء الاصطناعي →