一个新的开源项目认为，找到记忆的最快方法就是描述它——而且搜索永远不应该离开你的笔记本电脑。 SCM 是 Screen Memories 的缩写，是一款免费的 macOS 应用程序，它将本地 AI 模型应用于文件夹中的每张照片和每一帧视频，让用户可以用简单的语言搜索他们的库。该项目本周出现在 GitHub 上，并迅速登上 Hacker News 的头版，数小时内就获得了超过 85 分。
表面上看很简单：将 SCM 指向任何文件夹，它会为您的媒体中的实际内容构建一个可搜索索引 - 不仅仅是文件名，还有每个图像和每个视频中每个场景的视觉内容。它在众多 AI 照片工具领域中脱颖而出的原因在于，它全部都在 Mac 上运行。没有帐户，没有云上传，也没有遥测。一旦模型在第一次运行时下载了权重，该应用程序就可以离线运行。 更多相关背景，请参阅我们的人工智能资讯。
搜索一生媒体的五种方法
SCM 将搜索组织为五种不同的模式，每种模式均由本地运行的不同模型提供支持。
文件模式对照片和视频执行整个文件语义搜索，通过文件名和短语的提升按含义对结果进行排名。 场景更深入：该应用程序将视频分割成单独的场景并单独嵌入每个场景，因此查询可以让您找到准确的镜头，直接跳转到其时间码，而不是埋在文件名中的时间戳。两种以文本为中心的模式处理媒体内的文字。 OCR 模式建立在 Tesseract 引擎之上，可读取图像和视频帧中明显存在的文本并进行字面匹配，并提供英语以及可切换的 35 种附加语言包。 对话模式在视频上运行 Whisper 语音识别，并索引准确的口语单词，并具有用于搜索特定台词的分层匹配精确度级别。
最后，选择加入 LLMs 模式将提取的材料（对话记录、OCR 文本和文件名）转换为本地聊天上下文。用户可以询问有关自己的库的问题，应用程序会返回答案，并引用指向源文件的引用，所有这些都由在同一台计算机上运行的模型生成。
它的幕后工作原理
从技术上讲，SCM 是一个用 JavaScript 编写的 Electron 应用程序，使用 Bun 工具包作为其包管理器和运行时。繁重的工作是由直接在应用程序中执行的变压器模型完成的——默认的视觉模型是 CLIP 变体，其权重约为 435 兆字节，在首次使用时下载一次。
该指数会自行维护。观看的文件夹会在新媒体到达时自动导入，内容散列会删除仅重命名或移动的文件的重复数据，切换到不同的模型会在后台重新嵌入媒体库，而不会阻止搜索。开发人员指出，菜单栏和托盘功能特定于 macOS，该应用程序被打包用于分发。
隐私模型是卖点。该项目的文档很明确：媒体永远不会离开机器，推理通过变压器运行时在本地运行，并且在初始权重下载后，一切都可以离线运行。对于拥有敏感档案（医学图像、法律录像、个人视频）的用户来说，架构选择就是一大特色。
专为个人档案而建
该界面反映了相同的定制理念。任何查询都可以保存为可重复使用的选项卡，因此花费一些时间来表达的搜索将成为库中的永久视图。该应用程序还附带可切换的屏幕截图和电子邮件选项卡，承认现代 Mac 积累屏幕截图和附件的速度很快就超过了操作系统自身的搜索速度。
底层技术是现在标准的语义搜索机制：视觉模型将每个图像和视频场景转换为数字嵌入，并且查询以相同的方式嵌入，以便通过含义而不是关键字重叠进行匹配。这里值得注意的不是技术而是包装——云照片服务在服务器场上运行的相同管道被压缩到一个 Electron 应用程序中，非开发人员可以在他们选择的文件夹上安装和运行无人值守的应用程序。
向本地人工智能更大转变的一部分
随着在消费类硬件上运行强大的人工智能模型，SCM 的出现已经从新鲜事物变成了期待。苹果公司已稳步将语义搜索推入自己的照片应用程序中，而开源语音、视觉和文本模型已缩小到可以在笔记本电脑上轻松运行的大小。仍然稀缺的不是底层模型，而是集成层——将它们连接在一起形成非工程师可以在自己的文件上实际使用的东西的软件。
这就是 SCM 所占据的利基市场，它的受欢迎程度表明这种渴望是真实存在的。该存储库在大约一天内收集了 160 个 star 和 8 个分支，Hacker News 评论者将他们的问题集中在模型大小、索引速度和 Windows 可用性上——目前最后一个问题的答案是否定的，因为该项目目前仅适用于 macOS。
该项目是在麻省理工学院许可证下发布的，允许商业使用和修改。对于任何拥有大量、杂乱的照片和屏幕录制档案，并且原则上不喜欢将其上传到任何地方的人来说，这是更引人注目的演示之一，完全本地的媒体搜索引擎不再是研究演示 - 它是一个下午的安装。
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →
