একটি নতুন ওপেন-সোর্স প্রকল্প বাজি ধরছে যে একটি মেমরি খুঁজে পাওয়ার দ্রুততম উপায় হল এটি বর্ণনা করা - এবং অনুসন্ধানটি কখনই আপনার ল্যাপটপ ছেড়ে যাবে না। SCM, স্ক্রিন মেমোরির জন্য সংক্ষিপ্ত, একটি বিনামূল্যের macOS অ্যাপ্লিকেশন যা একটি ফোল্ডারের প্রতিটি ফটো এবং ভিডিওর প্রতিটি ফ্রেমে স্থানীয় AI মডেলগুলি প্রয়োগ করে, ব্যবহারকারীদের তাদের লাইব্রেরিগুলি সরল ভাষায় অনুসন্ধান করতে দেয়। প্রকল্পটি এই সপ্তাহে গিটহাবে উপস্থিত হয়েছিল এবং দ্রুত হ্যাকার নিউজের প্রথম পৃষ্ঠায় উঠেছিল, যেখানে এটি কয়েক ঘন্টার মধ্যে 85 পয়েন্টেরও বেশি আকর্ষণ করেছিল।
পিচটি সারফেসে সহজ: যেকোনো ফোল্ডারে SCM পয়েন্ট করুন এবং এটি আপনার মিডিয়াতে আসলে কী আছে তার একটি অনুসন্ধানযোগ্য সূচক তৈরি করে — শুধু ফাইলের নাম নয়, প্রতিটি ছবির ভিজ্যুয়াল কন্টেন্ট এবং প্রতিটি ভিডিওর ভিতরের প্রতিটি দৃশ্য। AI ফটো টুলগুলির একটি ভিড়ের ক্ষেত্রে এটিকে আলাদা করে দেয় যে এটি সবই ম্যাকে নিজেই চলে। কোনও অ্যাকাউন্ট নেই, কোনও ক্লাউড আপলোড নেই এবং কোনও টেলিমেট্রি নেই৷ একবার মডেলগুলি প্রথম রানে তাদের ওজন ডাউনলোড করলে, অ্যাপটি অফলাইনে কাজ করে। For more context on this story, see our ongoing AI industry coverage.
মিডিয়ার আজীবন অনুসন্ধানের পাঁচটি উপায়
SCM পাঁচটি স্বতন্ত্র মোডে অনুসন্ধান সংগঠিত করে, প্রতিটি স্থানীয়ভাবে চলমান একটি ভিন্ন মডেল দ্বারা চালিত।
ফাইলস মোডটি ফটো এবং ভিডিও জুড়ে সম্পূর্ণ ফাইলের শব্দার্থিক অনুসন্ধান সম্পাদন করে, ফাইলের নাম এবং বাক্যাংশগুলি থেকে অর্থের ভিত্তিতে ফলাফল র্যাঙ্ক করে৷ দৃশ্য আরও গভীরে যায়: অ্যাপটি ভিডিওগুলিকে পৃথক দৃশ্যের মধ্যে ভাগ করে এবং প্রতিটিকে আলাদাভাবে এম্বেড করে, তাই একটি ফাইলের নামে সমাহিত টাইমস্ট্যাম্পের পরিবর্তে একটি ক্যোয়ারী আপনাকে সঠিক শটে নিয়ে যায়।দুটি টেক্সট-কেন্দ্রিক মোড মিডিয়ার ভিতরে শব্দগুলি পরিচালনা করে। Tesseract ইঞ্জিনে নির্মিত OCR মোড, চিত্র এবং ভিডিও ফ্রেমে দৃশ্যমানভাবে উপস্থিত পাঠ্য পাঠ করে এবং ইংরেজির সাথে 35টি অতিরিক্ত ভাষা প্যাক যা টগল করা যেতে পারে। কথোপকথন মোড ভিডিওগুলির উপর হুইস্পার স্পিচ রিকগনিশন চালায় এবং একটি নির্দিষ্ট লাইন শিকার করার জন্য টায়ার্ড স্তরের মিল নির্ভুলতার সাথে সঠিক উচ্চারিত শব্দগুলিকে সূচী করে।
অবশেষে, একটি অপ্ট-ইন LLMs মোড নিষ্কাশিত উপাদানগুলিকে — সংলাপ প্রতিলিপি, OCR পাঠ্য এবং ফাইলের নামগুলি —কে স্থানীয় চ্যাট প্রসঙ্গে পরিণত করে৷ ব্যবহারকারীরা তাদের নিজস্ব লাইব্রেরি সম্পর্কে প্রশ্ন জিজ্ঞাসা করতে পারেন, এবং অ্যাপটি উৎস ফাইলগুলির দিকে নির্দেশ করে উদ্ধৃতি সহ উত্তর দেয়, যা একই মেশিনে চলমান একটি মডেল দ্বারা তৈরি করা হয়।
কিভাবে এটি হুডের নিচে কাজ করে
টেকনিক্যালি, SCM হল জাভাস্ক্রিপ্টে লেখা একটি ইলেক্ট্রন অ্যাপ্লিকেশন, বান টুলকিট এর প্যাকেজ ম্যানেজার এবং রানটাইম হিসাবে ব্যবহার করে। ভারী উত্তোলনটি সরাসরি অ্যাপে কার্যকর করা ট্রান্সফরমার মডেল দ্বারা সম্পন্ন করা হয় — ডিফল্ট ভিশন মডেলটি একটি CLIP ভেরিয়েন্ট যার ওজন, মোটামুটি 435 মেগাবাইট, প্রথম ব্যবহারে একবার ডাউনলোড করা হয়।
সূচক নিজেকে বজায় রাখে। প্রেক্ষিত ফোল্ডারগুলি নতুন মিডিয়া আসার সাথে সাথে স্বয়ংক্রিয়ভাবে আমদানি করে, কন্টেন্ট হ্যাশিং ফাইলগুলিকে ডিডপ্লিকেট করে যেগুলি কেবলমাত্র পুনঃনামকরণ বা সরানো হয়েছে, এবং একটি ভিন্ন মডেলে স্যুইচ করা অনুসন্ধানগুলিকে ব্লক না করেই ব্যাকগ্রাউন্ডে লাইব্রেরিটিকে পুনরায় এম্বেড করে৷ বিকাশকারী নোট করেছেন যে মেনু-বার এবং ট্রে বৈশিষ্ট্যগুলি macOS-এর জন্য নির্দিষ্ট, যেখানে অ্যাপটি বিতরণের জন্য প্যাকেজ করা হয়।
গোপনীয়তা মডেল হল বিক্রয় বিন্দু। প্রকল্পের ডকুমেন্টেশন স্পষ্ট: মিডিয়া কখনই মেশিন ছেড়ে যায় না, অনুমান ট্রান্সফরমার রানটাইমের মাধ্যমে স্থানীয়ভাবে চলে এবং প্রাথমিক ওজন ডাউনলোডের পরে সবকিছু অফলাইনে কাজ করে। সংবেদনশীল আর্কাইভ সহ ব্যবহারকারীদের জন্য — চিকিৎসা চিত্র, আইনি ফুটেজ, ব্যক্তিগত ভিডিও — সেই স্থাপত্য পছন্দ হল বৈশিষ্ট্য।
ব্যক্তিগত আর্কাইভের জন্য নির্মিত
ইন্টারফেস কাস্টমাইজেশনের একই দর্শন প্রতিফলিত করে। যেকোন প্রশ্ন একটি পুনঃব্যবহারযোগ্য ট্যাব হিসাবে সংরক্ষণ করা যেতে পারে, তাই একটি অনুসন্ধান যা একটি মুহূর্ত শব্দগুচ্ছ করতে সময় নেয় তা লাইব্রেরির একটি স্থায়ী দৃশ্যে পরিণত হয়। অ্যাপটি টগলযোগ্য স্ক্রিনশট এবং ইমেল ট্যাবগুলির সাথেও প্রেরণ করে, স্বীকার করে যে একটি আধুনিক ম্যাক এমন গতিতে স্ক্রিনশট এবং সংযুক্তিগুলি জমা করে যা অপারেটিং সিস্টেমের নিজস্ব অনুসন্ধানকে দ্রুত ছাড়িয়ে যায়।
অন্তর্নিহিত কৌশল হল শব্দার্থগত অনুসন্ধানের এখন-মানক যন্ত্রপাতি: একটি দৃষ্টি মডেল প্রতিটি চিত্র এবং ভিডিও দৃশ্যকে একটি সংখ্যাসূচক এম্বেডিং-এ রূপান্তর করে এবং প্রশ্নগুলি একইভাবে এমবেড করা হয় যাতে মিলটি কীওয়ার্ড ওভারল্যাপের পরিবর্তে অর্থের দ্বারা ঘটে। এখানে যেটি উল্লেখযোগ্য তা হল কৌশল নয় বরং প্যাকেজিং — সার্ভার ফার্মে ক্লাউড ফটো পরিষেবাগুলি চালানোর জন্য একই পাইপলাইন একটি ইলেক্ট্রন অ্যাপে সংকুচিত করা হয় যা একজন নন-ডেভেলপার তাদের পছন্দের ফোল্ডারগুলিতে অযৌক্তিকভাবে ইনস্টল এবং চালাতে পারে।
স্থানীয় এআই-এর দিকে বৃহত্তর শিফটের অংশ
ভোক্তা হার্ডওয়্যারে সক্ষম AI মডেলগুলিকে নতুনত্ব থেকে প্রত্যাশার দিকে নিয়ে যাওয়ায় SCM এসেছে৷ অ্যাপল তার নিজস্ব ফটো অ্যাপে শব্দার্থিক অনুসন্ধানকে স্থিরভাবে ঠেলে দিয়েছে, যখন ওপেন-সোর্স স্পিচ, ভিশন এবং টেক্সট মডেলগুলি ল্যাপটপে আরামদায়কভাবে চলে এমন আকারে সঙ্কুচিত হয়েছে। যা দুষ্প্রাপ্য রয়ে গেছে তা অন্তর্নিহিত মডেল নয় কিন্তু ইন্টিগ্রেশন লেয়ার — সফ্টওয়্যার যা তাদের এমন কিছুতে একত্রিত করে যা একজন নন-ইঞ্জিনিয়ার আসলে তাদের নিজস্ব ফাইলে ব্যবহার করতে পারে।
এটি হল কুলুঙ্গি SCM দখল করে, এবং এর অভ্যর্থনা ইঙ্গিত দেয় যে চুলকানি বাস্তব। রিপোজিটরিটি মোটামুটিভাবে দিনে 160টি তারা এবং আটটি কাঁটা সংগ্রহ করেছে, হ্যাকার নিউজ মন্তব্যকারীরা তাদের প্রশ্নগুলিকে মডেলের আকার, সূচীকরণের গতি এবং উইন্ডোজ উপলব্ধতার উপর ফোকাস করেছে — বর্তমানে শেষটির উত্তরটি না, কারণ এই প্রকল্পটি শুধুমাত্র ম্যাকোস-এর জন্য।
প্রকল্পটি MIT লাইসেন্সের অধীনে প্রকাশিত হয়েছে, যা বাণিজ্যিক ব্যবহার এবং পরিবর্তনের অনুমতি দেয়। ফটো এবং স্ক্রীন রেকর্ডিংয়ের একটি বড়, অসংগঠিত সংরক্ষণাগার এবং এটিকে কোথাও আপলোড করার নীতিগত অপছন্দের যে কারো জন্য, এটি এখনও আরও আকর্ষণীয় প্রদর্শনের একটি যে একটি সম্পূর্ণ স্থানীয় মিডিয়া সার্চ ইঞ্জিন আর একটি গবেষণা ডেমো নয় — এটি একটি বিকেলে ইনস্টল করা।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
