Một dự án nguồn mở mới đang đánh cược rằng cách nhanh nhất để tìm bộ nhớ là mô tả nó — và việc tìm kiếm không bao giờ rời khỏi máy tính xách tay của bạn. SCM, viết tắt của Screen Memories, là một ứng dụng macOS miễn phí áp dụng các mô hình AI cục bộ cho mọi ảnh và mọi khung hình video trong một thư mục, cho phép người dùng tìm kiếm thư viện của họ bằng ngôn ngữ đơn giản. Dự án đã xuất hiện trên GitHub trong tuần này và nhanh chóng leo lên trang nhất của Hacker News, nơi nó đã thu hút hơn 85 điểm trong vòng vài giờ.
Nhìn bề ngoài, quảng cáo chiêu hàng rất đơn giản: trỏ SCM vào bất kỳ thư mục nào và nó xây dựng chỉ mục có thể tìm kiếm về nội dung thực sự có trong phương tiện của bạn — không chỉ tên tệp mà còn cả nội dung trực quan của từng hình ảnh và từng cảnh bên trong mỗi video. Điều khiến nó trở nên khác biệt trong một lĩnh vực đông đúc các công cụ ảnh AI là tất cả chúng đều chạy trên chính máy Mac. Không có tài khoản, không tải lên đám mây và không đo từ xa. Sau khi các mô hình tải trọng lượng của họ xuống trong lần chạy đầu tiên, ứng dụng sẽ hoạt động ngoại tuyến. For more context on this story, see our ongoing artificial intelligence updates.
Năm cách để tìm kiếm phương tiện truyền thông trọn đời
SCM tổ chức tìm kiếm thành năm chế độ riêng biệt, mỗi chế độ được hỗ trợ bởi một mô hình khác nhau chạy cục bộ.
Chế độ Tệp thực hiện tìm kiếm ngữ nghĩa toàn bộ tệp trên ảnh và video, xếp hạng kết quả theo ý nghĩa với mức tăng từ tên tệp và cụm từ. Cảnh đi sâu hơn: ứng dụng phân đoạn video thành các cảnh riêng lẻ và nhúng từng cảnh riêng biệt, do đó, truy vấn sẽ đưa bạn đến cảnh quay chính xác, chuyển thẳng đến mã thời gian của video thay vì dấu thời gian được ẩn trong tên tệp.
Hai chế độ tập trung vào văn bản xử lý các từ bên trong phương tiện. Chế độ OCR, được xây dựng trên công cụ Tesseract, đọc văn bản hiển thị rõ ràng trong hình ảnh và khung hình video và khớp với nó theo nghĩa đen, với tiếng Anh cùng với 35 gói ngôn ngữ bổ sung có thể được bật. Chế độ Đối thoại chạy tính năng nhận dạng giọng nói Thì thầm trên video và lập chỉ mục các từ được nói chính xác, với mức độ khớp chính xác theo cấp độ để tìm kiếm một dòng cụ thể.
Cuối cùng, chế độ chọn tham gia LLM sẽ biến tài liệu được trích xuất — bản ghi hội thoại, văn bản OCR và tên tệp — thành ngữ cảnh trò chuyện cục bộ. Người dùng có thể đặt câu hỏi về thư viện của riêng họ và ứng dụng sẽ trả về câu trả lời kèm theo trích dẫn quay lại tệp nguồn, tất cả được tạo bởi một mô hình chạy trên cùng một máy.
Cách thức hoạt động dưới mui xe
Về mặt kỹ thuật, SCM là một ứng dụng Electron được viết bằng JavaScript, sử dụng bộ công cụ Bun làm trình quản lý gói và thời gian chạy. Công việc nặng nhọc được thực hiện bởi các mô hình máy biến áp được thực hiện trực tiếp trong ứng dụng — mô hình tầm nhìn mặc định là một biến thể CLIP có trọng lượng khoảng 435 megabyte, được tải xuống một lần trong lần sử dụng đầu tiên.
Chỉ số duy trì chính nó. Các thư mục đã xem tự động nhập phương tiện mới khi nó đến, băm nội dung sẽ loại bỏ các tệp trùng lặp vừa được đổi tên hoặc di chuyển và chuyển sang một mô hình khác sẽ nhúng lại thư viện vào nền mà không chặn tìm kiếm. Nhà phát triển lưu ý rằng các tính năng của thanh menu và khay dành riêng cho macOS, nơi ứng dụng được đóng gói để phân phối.
Mô hình quyền riêng tư là điểm bán hàng. Tài liệu của dự án rất rõ ràng: phương tiện không bao giờ rời khỏi máy, suy luận chạy cục bộ thông qua thời gian chạy của máy biến áp và sau khi tải xuống trọng lượng ban đầu, mọi thứ sẽ hoạt động ngoại tuyến. Đối với người dùng có kho lưu trữ nhạy cảm — hình ảnh y tế, cảnh quay pháp lý, video cá nhân — lựa chọn kiến trúc đó chính là tính năng.
Được xây dựng để lưu trữ cá nhân
Giao diện phản ánh cùng một triết lý tùy biến. Bất kỳ truy vấn nào cũng có thể được lưu dưới dạng tab có thể sử dụng lại, do đó, tìm kiếm mất một chút thời gian để diễn đạt sẽ trở thành chế độ xem vĩnh viễn trên thư viện. Ứng dụng này cũng đi kèm với các tab Ảnh chụp màn hình và Email có thể chuyển đổi, thừa nhận rằng máy Mac hiện đại tích lũy ảnh chụp màn hình và tệp đính kèm với tốc độ nhanh chóng vượt xa khả năng tìm kiếm của chính hệ điều hành.
Kỹ thuật cơ bản là bộ máy tìm kiếm ngữ nghĩa tiêu chuẩn hiện nay: một mô hình tầm nhìn chuyển đổi từng cảnh hình ảnh và video thành nhúng số và các truy vấn được nhúng theo cùng một cách để việc so khớp diễn ra theo ý nghĩa thay vì chồng chéo từ khóa. Điều đáng chú ý ở đây không phải là kỹ thuật mà là cách đóng gói - cùng một đường dẫn mà các dịch vụ ảnh đám mây chạy trên trang trại máy chủ được nén vào ứng dụng Electron mà người không phải là nhà phát triển có thể cài đặt và chạy không cần giám sát trên các thư mục mà họ chọn.
Một phần của sự thay đổi lớn hơn hướng tới AI địa phương
SCM xuất hiện khi các mô hình AI có khả năng chạy trên phần cứng của người tiêu dùng đã đi từ mức mới lạ đến mức được mong đợi. Apple đã dần dần đưa tính năng tìm kiếm ngữ nghĩa vào ứng dụng Ảnh của riêng mình, trong khi các mô hình văn bản, hình ảnh và lời nói nguồn mở đã thu gọn về kích thước có thể chạy thoải mái trên máy tính xách tay. Thứ còn khan hiếm không phải là các mô hình cơ bản mà là lớp tích hợp - phần mềm kết nối chúng lại với nhau thành thứ mà một người không phải là kỹ sư thực sự có thể sử dụng trên các tệp của riêng họ.
Đó là thị trường ngách mà SCM đang chiếm lĩnh, và sự tiếp nhận của nó cho thấy sự ngứa ngáy là có thật. Kho lưu trữ đã thu thập được 160 sao và 8 nhánh trong khoảng một ngày, trong đó những người bình luận của Hacker News tập trung câu hỏi của họ vào kích thước mô hình, tốc độ lập chỉ mục và tính khả dụng của Windows — hiện tại câu trả lời cho câu hỏi cuối cùng là không, vì hiện tại dự án chỉ dành cho macOS.
Dự án được phát hành theo giấy phép MIT, cho phép sử dụng và sửa đổi thương mại. Đối với bất kỳ ai có một kho lưu trữ ảnh và bản ghi màn hình lớn, vô tổ chức và về nguyên tắc không thích tải nó lên bất cứ đâu, thì đây là một trong những minh chứng thuyết phục hơn rằng một công cụ tìm kiếm phương tiện hoàn toàn cục bộ không còn là một bản demo nghiên cứu nữa - đó là một bản cài đặt vào buổi chiều.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
