Um novo projeto de código aberto aposta que a maneira mais rápida de encontrar uma memória é descrevê-la – e que a busca nunca deve sair do seu laptop. SCM, abreviação de Screen Memories, é um aplicativo macOS gratuito que aplica modelos locais de IA a cada foto e quadro de vídeo em uma pasta, permitindo que os usuários pesquisem suas bibliotecas em linguagem simples. O projeto apareceu no GitHub esta semana e rapidamente subiu para a primeira página do Hacker News, onde obteve mais de 85 pontos em poucas horas.
A ideia é superficialmente simples: aponte o SCM para qualquer pasta e ele cria um índice pesquisável do que realmente está em sua mídia – não apenas nomes de arquivos, mas o conteúdo visual de cada imagem e cada cena dentro de cada vídeo. O que o diferencia em um campo lotado de ferramentas fotográficas de IA é que tudo roda no próprio Mac. Não há contas, nem uploads na nuvem, nem telemetria. Depois que os modelos baixam seus pesos na primeira execução, o aplicativo funciona offline. Para mais contexto sobre esta história, confira nossa notícias de IA.
Cinco maneiras de pesquisar mídia para toda a vida
O SCM organiza a pesquisa em cinco modos distintos, cada um alimentado por um modelo diferente executado localmente.
O modo Arquivos realiza pesquisa semântica de arquivos inteiros em fotos e vídeos, classificando os resultados por significado com melhorias em nomes de arquivos e frases. Cenas vai mais fundo: o aplicativo segmenta os vídeos em cenas individuais e incorpora cada um separadamente, de modo que uma consulta leva você à cena exata, com um salto direto para o código de tempo, em vez de um carimbo de data/hora enterrado em um nome de arquivo.
Dois modos focados em texto lidam com as palavras dentro da mídia. O modo OCR, baseado no mecanismo Tesseract, lê texto que está visivelmente presente em imagens e quadros de vídeo e faz a correspondência literal, com inglês e mais 35 pacotes de idiomas adicionais que podem ser ativados. O modo Diálogo executa o reconhecimento de fala Whisper em vídeos e indexa as palavras faladas exatas, com níveis escalonados de exatidão de correspondência para encontrar uma linha específica.
Por fim, um modo LLMs opcional transforma o material extraído (transcrições de diálogos, texto OCR e nomes de arquivos) em um contexto de bate-papo local. Os usuários podem fazer perguntas sobre sua própria biblioteca, e o aplicativo retorna respostas com citações apontando para os arquivos de origem, todos gerados por um modelo executado na mesma máquina.
Como funciona nos bastidores
Tecnicamente, SCM é um aplicativo Electron escrito em JavaScript, usando o kit de ferramentas Bun como gerenciador de pacotes e tempo de execução. O trabalho pesado é feito por modelos de transformadores executados diretamente no aplicativo – o modelo de visão padrão é uma variante CLIP cujos pesos, cerca de 435 megabytes, são baixados uma vez no primeiro uso.
O índice se mantém. As pastas monitoradas importam automaticamente novas mídias à medida que chegam, o hash de conteúdo desduplica os arquivos que foram simplesmente renomeados ou movidos e a mudança para um modelo diferente incorpora novamente a biblioteca em segundo plano sem bloquear as pesquisas. O desenvolvedor observa que os recursos da barra de menu e da bandeja são específicos do macOS, onde o aplicativo é empacotado para distribuição.
O modelo de privacidade é o ponto de venda. A documentação do projeto é explícita: a mídia nunca sai da máquina, a inferência é executada localmente através dos tempos de execução do transformador e, após o download inicial do peso, tudo funciona offline. Para usuários com arquivos confidenciais – imagens médicas, imagens legais, vídeos pessoais – essa escolha arquitetônica é o recurso.
Criado para arquivos pessoais
A interface reflete a mesma filosofia de personalização. Qualquer consulta pode ser salva como uma guia reutilizável, de modo que uma pesquisa que demorou um pouco para ser formulada se torna uma visualização permanente da biblioteca. O aplicativo também vem com guias alternáveis de capturas de tela e e-mail, reconhecendo que um Mac moderno acumula capturas de tela e anexos em um ritmo que rapidamente supera a pesquisa do próprio sistema operacional.
A técnica subjacente é o mecanismo agora padrão de pesquisa semântica: um modelo de visão converte cada imagem e cena de vídeo em uma incorporação numérica, e as consultas são incorporadas da mesma maneira para que a correspondência aconteça por significado, em vez de sobreposição de palavras-chave. O que é notável aqui não é a técnica, mas o empacotamento – o mesmo pipeline que os serviços de fotos em nuvem executam em farms de servidores é compactado em um aplicativo Electron que um não-desenvolvedor pode instalar e executar sem supervisão em pastas de sua escolha.
Parte de uma mudança maior em direção à IA local
O SCM chega no momento em que a execução de modelos de IA capazes em hardware de consumo passou de novidade a expectativa. A Apple tem introduzido constantemente a pesquisa semântica em seu próprio aplicativo Fotos, enquanto os modelos de fala, visão e texto de código aberto encolheram para tamanhos que funcionam confortavelmente em laptops. O que permanece escasso não são os modelos subjacentes, mas a camada de integração – software que os conecta em algo que um não-engenheiro possa realmente usar em seus próprios arquivos.
Esse é o nicho que o SCM ocupa, e sua recepção sugere que a coceira é real. O repositório coletou 160 estrelas e oito garfos em aproximadamente um dia, com os comentaristas do Hacker News concentrando suas perguntas em tamanhos de modelos, velocidade de indexação e disponibilidade do Windows – atualmente a resposta para a última é não, já que o projeto é apenas para macOS por enquanto.
O projeto é lançado sob licença do MIT, que permite uso comercial e modificação. Para qualquer pessoa com um arquivo grande e desorganizado de fotos e gravações de tela, e uma aversão por princípios de enviá-los para qualquer lugar, é uma das demonstrações mais convincentes de que um mecanismo de busca de mídia totalmente local não é mais uma demonstração de pesquisa – é uma instalação vespertina.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
