โปรเจ็กต์โอเพ่นซอร์สใหม่กำลังเดิมพันว่าวิธีที่เร็วที่สุดในการค้นหาหน่วยความจำคือการอธิบาย และการค้นหานั้นไม่ควรทิ้งแล็ปท็อปของคุณไป SCM ย่อมาจาก Screen Memories เป็นแอปพลิเคชัน macOS ฟรีที่ใช้โมเดล AI ในเครื่องกับทุกรูปภาพและทุกเฟรมของวิดีโอในโฟลเดอร์ ทำให้ผู้ใช้สามารถค้นหาไลบรารีของตนในภาษาธรรมดาได้ โปรเจ็กต์นี้ปรากฏบน GitHub ในสัปดาห์นี้และไต่ขึ้นหน้าแรกของ Hacker News อย่างรวดเร็ว โดยมีคะแนนมากกว่า 85 คะแนนภายในไม่กี่ชั่วโมง

ระดับเสียงนั้นเรียบง่ายบนพื้นผิว: ชี้ SCM ไปที่โฟลเดอร์ใดก็ได้ และสร้างดัชนีที่สามารถค้นหาได้ของสิ่งที่อยู่จริงในสื่อของคุณ ไม่ใช่แค่ชื่อไฟล์ แต่รวมถึงเนื้อหาภาพของแต่ละภาพและแต่ละฉากภายในวิดีโอแต่ละรายการ สิ่งที่ทำให้มันแตกต่างในเครื่องมือถ่ายภาพ AI ที่มีอยู่มากมายก็คือมันทำงานบน Mac นั่นเอง ไม่มีบัญชี ไม่มีการอัพโหลดบนคลาวด์ และไม่มีการวัดและส่งข้อมูลทางไกล เมื่อโมเดลดาวน์โหลดตุ้มน้ำหนักในการรันครั้งแรก แอปจะทำงานแบบออฟไลน์ For more context on this story, see our ongoing breaking AI news.

ห้าวิธีในการค้นหาตลอดชีวิตของสื่อ

SCM จัดระเบียบการค้นหาเป็นห้าโหมดที่แตกต่างกัน โดยแต่ละโหมดขับเคลื่อนโดยโมเดลที่แตกต่างกันที่ทำงานภายในเครื่อง

โหมด ไฟล์ ทำการค้นหาความหมายทั้งไฟล์ในรูปภาพและวิดีโอ โดยจัดอันดับผลลัพธ์ตามความหมายพร้อมการเพิ่มประสิทธิภาพจากชื่อไฟล์และวลี ฉาก เจาะลึกยิ่งขึ้น: แอปจะแบ่งวิดีโอออกเป็นแต่ละฉากและฝังแต่ละฉากแยกกัน ดังนั้นแบบสอบถามจะนำคุณไปสู่ช็อตที่แน่นอน โดยข้ามไปที่รหัสเวลาโดยตรง แทนที่จะฝังการประทับเวลาไว้ในชื่อไฟล์

โหมดเน้นข้อความสองโหมดรองรับคำในสื่อ โหมด OCR ​​สร้างขึ้นจากกลไก Tesseract อ่านข้อความที่ปรากฏให้เห็นชัดเจนในเฟรมภาพและวิดีโอ และจับคู่ข้อความนั้นตามตัวอักษร พร้อมด้วยภาษาอังกฤษและชุดภาษาเพิ่มเติมอีก 35 ชุดที่สามารถเปิดใช้งานได้ โหมด บทสนทนา รันการรู้จำคำพูด Whisper บนวิดีโอและจัดทำดัชนีคำพูดที่ตรงกันทุกประการ พร้อมระดับความแม่นยำของการจับคู่ตามลำดับขั้นสำหรับการล่าบรรทัดใดบรรทัดหนึ่ง

สุดท้ายนี้ โหมด LLMs ที่เลือกใช้จะเปลี่ยนเนื้อหาที่แยกออกมา เช่น บทสนทนา ข้อความ OCR และชื่อไฟล์ ให้เป็นบริบทการแชทในเครื่อง ผู้ใช้สามารถถามคำถามเกี่ยวกับไลบรารีของตนเองได้ และแอปจะส่งคำตอบพร้อมข้อมูลอ้างอิงที่ชี้กลับไปยังไฟล์ต้นฉบับ ซึ่งทั้งหมดนี้สร้างขึ้นโดยโมเดลที่ทำงานบนเครื่องเดียวกัน

มันทำงานอย่างไรภายใต้ประทุน

ในทางเทคนิค SCM เป็นแอปพลิเคชัน Electron ที่เขียนด้วย JavaScript โดยใช้ชุดเครื่องมือ Bun เป็นตัวจัดการแพ็คเกจและรันไทม์ การยกของหนักทำได้โดยโมเดลหม้อแปลงที่ดำเนินการโดยตรงในแอป โมเดลการมองเห็นเริ่มต้นคือรูปแบบ CLIP ซึ่งมีน้ำหนักประมาณ 435 เมกะไบต์ จะถูกดาวน์โหลดครั้งเดียวในการใช้งานครั้งแรก

ดัชนีจะรักษาตัวมันเอง โฟลเดอร์ที่รับชมจะนำเข้าสื่อใหม่โดยอัตโนมัติเมื่อมาถึง การแฮชเนื้อหาจะขจัดไฟล์ที่ซ้ำกันที่เพิ่งถูกเปลี่ยนชื่อหรือย้าย และการเปลี่ยนไปใช้โมเดลอื่นจะฝังไลบรารีอีกครั้งในเบื้องหลังโดยไม่ปิดกั้นการค้นหา นักพัฒนาตั้งข้อสังเกตว่าคุณสมบัติของแถบเมนูและถาดนั้นเฉพาะกับ macOS โดยที่แอพนั้นถูกบรรจุเป็นแพ็คเกจเพื่อการจำหน่าย

รูปแบบความเป็นส่วนตัวคือจุดขาย เอกสารประกอบของโปรเจ็กต์มีความชัดเจน: สื่อไม่เคยออกจากเครื่อง การอนุมานจะทำงานภายในเครื่องผ่านรันไทม์ของหม้อแปลง และหลังจากน้ำหนักเริ่มต้นแล้ว ทุกอย่างจะทำงานแบบออฟไลน์ สำหรับผู้ใช้ที่มีการเก็บถาวรที่ละเอียดอ่อน — ภาพทางการแพทย์, ภาพทางกฎหมาย, วิดีโอส่วนตัว — ตัวเลือกทางสถาปัตยกรรมคือคุณสมบัตินี้

สร้างขึ้นเพื่อเก็บถาวรส่วนบุคคล

อินเทอร์เฟซสะท้อนให้เห็นถึงปรัชญาการปรับแต่งแบบเดียวกัน แบบสอบถามใดๆ สามารถบันทึกเป็นแท็บที่นำมาใช้ซ้ำได้ ดังนั้นการค้นหาที่ใช้เวลาสักครู่ในการวลีจะกลายเป็นมุมมองถาวรในไลบรารี แอปนี้ยังมาพร้อมกับแท็บภาพหน้าจอและอีเมลที่สลับได้ โดยรับทราบว่า Mac สมัยใหม่จะสะสมภาพหน้าจอและไฟล์แนบในอัตราที่เร็วกว่าการค้นหาของระบบปฏิบัติการอย่างรวดเร็ว

เทคนิคพื้นฐานคือกลไกมาตรฐานของการค้นหาความหมายในปัจจุบัน โดยโมเดลการมองเห็นจะแปลงแต่ละฉากรูปภาพและวิดีโอเป็นการฝังแบบตัวเลข และข้อความค้นหาจะถูกฝังในลักษณะเดียวกัน เพื่อให้การจับคู่เกิดขึ้นโดยความหมาย แทนที่จะทับซ้อนกันของคำหลัก สิ่งที่น่าสังเกตที่นี่ไม่ใช่เทคนิค แต่บรรจุภัณฑ์ — ไปป์ไลน์เดียวกับที่บริการภาพถ่ายบนคลาวด์ทำงานบนเซิร์ฟเวอร์ฟาร์มถูกบีบอัดลงในแอพ Electron ที่ผู้ที่ไม่ใช่นักพัฒนาสามารถติดตั้งและรันโดยไม่ต้องดูแลบนโฟลเดอร์ที่พวกเขาเลือก

ส่วนหนึ่งของการเปลี่ยนแปลงครั้งใหญ่ไปสู่ ​​AI ท้องถิ่น

SCM มาถึงเมื่อโมเดล AI ที่มีความสามารถบนฮาร์ดแวร์สำหรับผู้บริโภคได้เปลี่ยนจากความแปลกใหม่ไปสู่ความคาดหมาย Apple ได้ผลักดันการค้นหาความหมายในแอพ Photos ของตัวเองอย่างต่อเนื่อง ในขณะที่โมเดลคำพูด ภาพ และข้อความแบบโอเพ่นซอร์สก็มีขนาดเล็กลงจนเหลือขนาดที่ใช้งานได้อย่างสะดวกสบายบนแล็ปท็อป สิ่งที่ยังคงขาดแคลนไม่ใช่โมเดลพื้นฐาน แต่เป็นเลเยอร์การผสานรวม ซึ่งเป็นซอฟต์แวร์ที่เชื่อมโยงเข้าด้วยกันเป็นสิ่งที่ผู้ที่ไม่ใช่วิศวกรสามารถใช้กับไฟล์ของตนเองได้

นั่นคือกลุ่มที่ SCM ครอบครองอยู่ และการรับสัญญาณบ่งชี้ว่าอาการคันนั้นมีอยู่จริง พื้นที่เก็บข้อมูลรวบรวมดาวได้ 160 ดวงและส้อม 8 ดวงในเวลาประมาณหนึ่งวัน โดยผู้แสดงความเห็นของ Hacker News มุ่งเน้นไปที่คำถามเกี่ยวกับขนาดโมเดล ความเร็วในการจัดทำดัชนี และความพร้อมใช้งานของ Windows ซึ่งในปัจจุบันคำตอบสำหรับข้อสุดท้ายคือไม่ เนื่องจากโปรเจ็กต์นี้รองรับเฉพาะ macOS เท่านั้นในตอนนี้

โครงการนี้เผยแพร่ภายใต้ใบอนุญาต MIT ซึ่งอนุญาตให้ใช้และดัดแปลงในเชิงพาณิชย์ได้ สำหรับใครก็ตามที่มีที่เก็บรูปภาพและการบันทึกหน้าจอขนาดใหญ่และไม่เป็นระเบียบ และโดยหลักการแล้วไม่ชอบอัปโหลดไปที่ใดก็ตาม นี่ถือเป็นการสาธิตที่น่าสนใจอย่างหนึ่ง แต่เสิร์ชเอ็นจิ้นท้องถิ่นโดยสมบูรณ์ไม่ใช่การสาธิตการวิจัยอีกต่อไป แต่เป็นการติดตั้งช่วงบ่าย

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →