एक नवीन ओपन-सोर्स प्रोजेक्ट बेटिंग करत आहे की मेमरी शोधण्याचा सर्वात जलद मार्ग म्हणजे त्याचे वर्णन करणे - आणि शोधने तुमचा लॅपटॉप कधीही सोडू नये. SCM, स्क्रीन मेमरीजसाठी लहान, एक विनामूल्य macOS अनुप्रयोग आहे जो फोल्डरमधील प्रत्येक फोटो आणि व्हिडिओच्या प्रत्येक फ्रेमवर स्थानिक AI मॉडेल लागू करतो, वापरकर्त्यांना त्यांच्या लायब्ररी साध्या भाषेत शोधू देतो. प्रकल्प या आठवड्यात GitHub वर दिसला आणि त्वरीत हॅकर न्यूजच्या पहिल्या पानावर चढला, जिथे त्याने काही तासांत 85 पेक्षा जास्त गुण मिळवले.

पृष्ठभागावर खेळपट्टी सोपी आहे: कोणत्याही फोल्डरवर SCM बिंदू करा आणि ते तुमच्या मीडियामध्ये काय आहे याचा शोध करण्यायोग्य अनुक्रमणिका तयार करते — फक्त फाइलनावेच नाही तर प्रत्येक प्रतिमेची दृश्य सामग्री आणि प्रत्येक व्हिडिओमधील प्रत्येक दृश्य. एआय फोटो टूल्सच्या गजबजलेल्या फील्डमध्ये काय वेगळे करते ते म्हणजे ते सर्व मॅकवरच चालते. कोणतीही खाती नाहीत, क्लाउड अपलोड नाहीत आणि टेलिमेट्री नाहीत. एकदा मॉडेल प्रथम रनवर त्यांचे वजन डाउनलोड केल्यानंतर, ॲप ऑफलाइन कार्य करते. For more context on this story, see our ongoing latest AI developments.

मीडियाचे आयुष्यभर शोधण्याचे पाच मार्ग

SCM पाच वेगळ्या मोडमध्ये शोध आयोजित करते, प्रत्येक स्थानिक पातळीवर चालणाऱ्या वेगळ्या मॉडेलद्वारे समर्थित आहे.

फाईल्स मोड फोटो आणि व्हिडीओमध्ये संपूर्ण-फाइल अर्थपूर्ण शोध करतो, फाइलनाव आणि वाक्प्रचारांच्या बूस्ट्ससह अर्थानुसार परिणामांची रँकिंग करतो. दृश्य अधिक खोलवर जातात: ॲप वैयक्तिक दृश्यांमध्ये व्हिडिओंचे विभाजन करते आणि प्रत्येकाला स्वतंत्रपणे एम्बेड करते, त्यामुळे फाइल नावात दफन केलेल्या टाइमस्टॅम्पऐवजी थेट त्याच्या टाइमकोडवर जाण्यासाठी क्वेरी तुम्हाला अचूक शॉटवर आणते.

दोन मजकूर-केंद्रित मोड मीडियामधील शब्द हाताळतात. Tesseract इंजिनवर तयार केलेला OCR ​​मोड, प्रतिमा आणि व्हिडिओ फ्रेममध्ये दृश्यमानपणे उपस्थित असलेला मजकूर वाचतो आणि इंग्रजीसह 35 अतिरिक्त लँग्वेज पॅकसह, जो टॉगल केला जाऊ शकतो. संवाद मोड व्हिडिओंवर व्हिस्पर स्पीच रेकग्निशन चालवतो आणि विशिष्ट ओळीची शिकार करण्यासाठी जुळलेल्या अचूकतेच्या टायर्ड स्तरांसह अचूक बोललेले शब्द अनुक्रमित करतो.

शेवटी, एक ऑप्ट-इन LLMs मोड एक्सट्रॅक्ट केलेली सामग्री — संवाद प्रतिलेख, OCR मजकूर आणि फाइलनावे — स्थानिक चॅट संदर्भामध्ये बदलतो. वापरकर्ते त्यांच्या स्वतःच्या लायब्ररीबद्दल प्रश्न विचारू शकतात आणि ॲप स्त्रोत फायलींकडे परत निर्देशित केलेल्या उद्धरणांसह उत्तरे देतो, सर्व समान मशीनवर चालणाऱ्या मॉडेलद्वारे व्युत्पन्न केले जातात.

हे हुड अंतर्गत कसे कार्य करते

तांत्रिकदृष्ट्या, एससीएम हे जावास्क्रिप्टमध्ये लिहिलेले एक इलेक्ट्रॉन ॲप्लिकेशन आहे, जे बन टूलकिटचा पॅकेज मॅनेजर आणि रनटाइम म्हणून वापर करते. हेवी लिफ्टिंग ट्रान्सफॉर्मर मॉडेल्सद्वारे थेट ॲपमध्ये अंमलात आणले जाते — डीफॉल्ट व्हिजन मॉडेल एक CLIP व्हेरिएंट आहे ज्याचे वजन, अंदाजे 435 मेगाबाइट्स, पहिल्या वापरावर एकदा डाउनलोड केले जातात.

निर्देशांक स्वतःला राखतो. पाहिलेले फोल्डर नवीन मीडिया आल्यावर स्वयं-इंपोर्ट करतात, सामग्री हॅशिंग फायलींचे डुप्लिकेट करते ज्यांचे फक्त नाव बदलले किंवा हलवले गेले आणि वेगळ्या मॉडेलवर स्विच केल्याने शोध अवरोधित न करता बॅकग्राउंडमध्ये लायब्ररी पुन्हा एम्बेड होते. विकसक नोंदवतात की मेनू-बार आणि ट्रे वैशिष्ट्ये macOS साठी विशिष्ट आहेत, जिथे ॲप वितरणासाठी पॅकेज केलेले आहे.

गोपनीयता मॉडेल विक्री बिंदू आहे. प्रकल्पाचे दस्तऐवजीकरण स्पष्ट आहे: मीडिया कधीही मशीन सोडत नाही, ट्रान्सफॉर्मर रनटाइमद्वारे अनुमान स्थानिक पातळीवर चालते आणि प्रारंभिक वजन डाउनलोड केल्यानंतर सर्वकाही ऑफलाइन कार्य करते. संवेदनशील संग्रहण असलेल्या वापरकर्त्यांसाठी — वैद्यकीय प्रतिमा, कायदेशीर फुटेज, वैयक्तिक व्हिडिओ — ते आर्किटेक्चरल निवड हे वैशिष्ट्य आहे.

वैयक्तिक संग्रहणासाठी तयार केलेले

इंटरफेस सानुकूलतेचे समान तत्वज्ञान प्रतिबिंबित करते. कोणतीही क्वेरी पुन्हा वापरता येण्याजोग्या टॅब म्हणून जतन केली जाऊ शकते, म्हणून वाक्यांशासाठी काही क्षण घेणारा शोध लायब्ररीवर कायमस्वरूपी दृश्य बनतो. ॲप टॉगल करण्यायोग्य स्क्रीनशॉट्स आणि ईमेल टॅबसह देखील पाठवते, हे कबूल करते की आधुनिक मॅक ऑपरेटिंग सिस्टमच्या स्वत: च्या शोधापेक्षा वेगाने स्क्रीनशॉट आणि संलग्नक जमा करतो.

अंतर्निहित तंत्र म्हणजे सिमेंटिक शोधाची आता-मानक यंत्रणा आहे: एक व्हिजन मॉडेल प्रत्येक प्रतिमा आणि व्हिडिओ दृश्याला संख्यात्मक एम्बेडिंगमध्ये रूपांतरित करते आणि क्वेरी त्याच प्रकारे एम्बेड केल्या जातात जेणेकरून जुळणे कीवर्ड ओव्हरलॅपऐवजी अर्थानुसार होते. येथे जे उल्लेखनीय आहे ते तंत्र नसून पॅकेजिंग आहे — क्लाउड फोटो सेवा सर्व्हर फार्मवर चालवल्या जाणाऱ्या समान पाइपलाइन इलेक्ट्रॉन ॲपमध्ये संकुचित केल्या जातात ज्याला विकसक नसलेले त्यांच्या निवडीच्या फोल्डरवर अप्राप्यपणे स्थापित आणि चालवू शकतात.

स्थानिक AI कडे मोठ्या शिफ्टचा भाग

ग्राहक हार्डवेअरवर सक्षम AI मॉडेल चालवत असल्याने SCM आले आहे. ऍपलने स्वतःच्या फोटो ॲपमध्ये सिमेंटिक शोध सतत ढकलला आहे, तर ओपन-सोर्स स्पीच, व्हिजन आणि टेक्स्ट मॉडेल्स लॅपटॉपवर आरामात चालणाऱ्या आकारात कमी झाले आहेत. जे काही दुर्मिळ आहे ते मूळ मॉडेल नसून एकीकरण स्तर आहे — सॉफ्टवेअर जे त्यांना एकत्र जोडून अशा गोष्टीमध्ये जोडते जे गैर-अभियंता त्यांच्या स्वतःच्या फायलींवर प्रत्यक्षात वापरू शकतात.

तेच कोनाडा SCM व्यापलेले आहे, आणि त्याचे स्वागत सूचित करते की खाज खरी आहे. रिपॉझिटरीने साधारणपणे एका दिवसात 160 तारे आणि आठ काटे गोळा केले, हॅकर न्यूज कमेंटर्स त्यांचे प्रश्न मॉडेल आकार, अनुक्रमणिका गती आणि Windows उपलब्धता यावर केंद्रित करतात — सध्या शेवटच्या प्रश्नाचे उत्तर नाही आहे, कारण सध्या हा प्रकल्प फक्त macOS आहे.

हा प्रकल्प एमआयटी परवान्याअंतर्गत जारी करण्यात आला आहे, जो व्यावसायिक वापर आणि बदल करण्यास परवानगी देतो. फोटो आणि स्क्रीन रेकॉर्डिंगचे मोठे, अव्यवस्थित संग्रहण असलेल्या आणि ते कुठेही अपलोड करण्यास तत्त्वतः नापसंती असलेल्या कोणासाठीही, पूर्णतः स्थानिक मीडिया शोध इंजिन यापुढे संशोधन डेमो राहिलेले नाही - हे एक दुपारची स्थापना आहे.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →