פרויקט חדש בקוד פתוח מהמר שהדרך המהירה ביותר למצוא זיכרון היא לתאר אותו - ושהחיפוש לעולם לא יעזוב את המחשב הנייד שלך. SCM, קיצור של Screen Memories, הוא יישום macOS חינמי שמחיל דגמי AI מקומיים על כל תמונה וכל פריים של וידאו בתיקיה, ומאפשר למשתמשים לחפש בספריות שלהם בשפה פשוטה. הפרויקט הופיע השבוע ב-GitHub וטיפס במהירות לעמוד הראשון של האקר ניוז, שם הוא משך יותר מ-85 נקודות בתוך שעות.
המגרש הוא פשוט על פני השטח: כוון SCM לכל תיקיה, והוא בונה אינדקס שניתן לחיפוש של מה שבעצם נמצא במדיה שלך - לא רק שמות קבצים, אלא התוכן החזותי של כל תמונה וכל סצנה בתוך כל סרטון. מה שמייחד אותו בשדה צפוף של כלי צילום AI הוא שכל זה פועל על ה-Mac עצמו. אין חשבונות, אין העלאות בענן ואין טלמטריה. ברגע שהדגמים מורידים את המשקולות שלהם בריצה ראשונה, האפליקציה פועלת במצב לא מקוון. For more context on this story, see our ongoing latest AI developments.
חמש דרכים לחפש מדיה לכל החיים
SCM מארגן את החיפוש בחמישה מצבים נפרדים, כל אחד מופעל על ידי דגם אחר הפועל באופן מקומי.
מצב קבצים מבצע חיפוש סמנטי של כל הקבצים בין תמונות וסרטונים, מדרג תוצאות לפי משמעות עם חיזוקים משמות קבצים וביטויים. סצינות מעמיקה יותר: האפליקציה מפלחת סרטונים לסצנות בודדות ומטמיעה כל אחת מהן בנפרד, כך שאילתה מביאה אותך לצילום המדויק, עם קפיצה ישר לקוד הזמן שלה ולא חותמת זמן קבורה בשם קובץ.
שני מצבים ממוקדי טקסט מטפלים במילים בתוך המדיה. מצב OCR, המבוסס על מנוע Tesseract, קורא טקסט שקיים באופן גלוי בתמונות ובמסגרות וידאו ותואם אותו פשוטו כמשמעו, עם אנגלית בתוספת 35 חבילות שפה נוספות שניתן להפעיל. מצב דיאלוג מריץ זיהוי דיבור Whisper על גבי סרטונים ומאנדקס את המילים המדוברות המדויקות, עם רמות מדורגות של דיוק התאמה לציד קו ספציפי.
לבסוף, מצב הצטרפות LLMs הופך את החומר שחולץ - תמלול דיאלוגים, טקסט OCR ושמות קבצים - להקשר צ'אט מקומי. משתמשים יכולים לשאול שאלות על הספרייה שלהם, והאפליקציה מחזירה תשובות עם ציטוטים המצביעים בחזרה לקבצי המקור, כולם נוצרו על ידי מודל הפועל על אותה מכונה.
איך זה עובד מתחת למכסה המנוע
מבחינה טכנית, SCM הוא אפליקציית Electron שנכתבה ב-JavaScript, תוך שימוש בערכת הכלים Bun כמנהל החבילות וזמן הריצה שלה. ההרמה הכבדה נעשית על ידי דגמי שנאים המבוצעים ישירות באפליקציה - מודל הראייה המוגדר כברירת מחדל הוא גרסת CLIP שמשקלו, בערך 435 מגה בייט, יורדים פעם אחת בשימוש הראשון.
המדד שומר על עצמו. תיקיות שנצפו מייבאות אוטומטית מדיה חדשה כשהיא מגיעה, גיבוב תוכן מבטל כפילות של קבצים שרק שונו או הועברו, ומעבר לדגם אחר מטמיע מחדש את הספרייה ברקע מבלי לחסום חיפושים. המפתח מציין שתכונות שורת התפריט והמגש הן ספציפיות ל-macOS, שם האפליקציה ארוזה להפצה.
מודל הפרטיות הוא נקודת המכירה. התיעוד של הפרויקט מפורש: מדיה לעולם לא עוזבת את המכונה, ההסקה פועלת באופן מקומי דרך זמני ריצה של שנאים, ולאחר הורדת המשקל הראשונית הכל עובד במצב לא מקוון. עבור משתמשים עם ארכיונים רגישים - תמונות רפואיות, קטעים משפטיים, וידאו אישי - הבחירה הארכיטקטונית היא התכונה.
נבנה עבור ארכיונים אישיים
הממשק משקף את אותה פילוסופיה של התאמה אישית. ניתן לשמור כל שאילתה כלשונית לשימוש חוזר, כך שחיפוש שלקח רגע לניסוח הופך לתצוגה קבועה על הספרייה. האפליקציה מגיעה גם עם כרטיסיות צילומי מסך ו-Email הניתנות להחלפה, תוך הכרה שמק מודרני צובר צילומי מסך וקבצים מצורפים בקצב שיוצא במהירות מהחיפוש של מערכת ההפעלה עצמה.
הטכניקה הבסיסית היא המנגנון הסטנדרטי כעת של חיפוש סמנטי: מודל חזון ממיר כל תמונה וסצנת וידאו להטמעה מספרית, ושאילתות מוטמעות באותו אופן, כך שההתאמה מתרחשת לפי משמעות ולא בחפיפה של מילות מפתח. מה שבולט כאן הוא לא הטכניקה אלא האריזה - אותו צינור ששירותי צילום בענן מריצים בחוות שרתים נדחס לאפליקציית Electron שאדם שאינו מפתח יכול להתקין ולהריץ ללא השגחה על תיקיות לבחירתו.
חלק ממעבר גדול יותר לעבר AI מקומי
SCM מגיע כאשר הפעלת דגמי בינה מלאכותית בעלי יכולת AI על חומרה לצרכן הפכה מחידוש לציפיות. אפל דחפה בהתמדה את החיפוש הסמנטי לאפליקציית התמונות שלה, בעוד שדגמי דיבור, חזון וטקסט בקוד פתוח הצטמצמו לגדלים שפועלים בנוחות במחשבים ניידים. מה שנותר נדיר הוא לא המודלים הבסיסיים אלא שכבת האינטגרציה - תוכנה שמחברת אותם יחד למשהו שמי שאינו מהנדס יכול למעשה להשתמש בקבצים שלו.
זו הנישה ש-SCM תופסת, והקבלה שלה מעידה שהגירוד אמיתי. המאגר אסף 160 כוכבים ושמונה מזלגות בערך ביום, כשהמגיבים ב-Hacker News מתמקדים בשאלותיהם בגדלי דגמים, מהירות אינדקס וזמינות של Windows - נכון לעכשיו, התשובה האחרונה היא שלילית, מכיוון שהפרויקט הוא ל-macOS בלבד לעת עתה.
הפרויקט שוחרר תחת רישיון MIT, המאפשר שימוש מסחרי ושינוי. עבור כל מי שיש לו ארכיון גדול ולא מאורגן של תמונות והקלטות מסך, וסלידה עקרונית מהעלאתו לכל מקום, זוהי אחת ההדגמות היותר משכנעות שעדיין מנוע חיפוש מדיה מקומי מלא אינו עוד הדגמה מחקרית - זו התקנה אחר הצהריים.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
