Ένα νέο έργο ανοιχτού κώδικα στοιχηματίζει ότι ο πιο γρήγορος τρόπος για να βρείτε μια μνήμη είναι να την περιγράψετε — και ότι η αναζήτηση δεν πρέπει ποτέ να εγκαταλείψει τον φορητό υπολογιστή σας. Το SCM, συντομογραφία του Screen Memories, είναι μια δωρεάν εφαρμογή macOS που εφαρμόζει τοπικά μοντέλα AI σε κάθε φωτογραφία και κάθε καρέ βίντεο σε έναν φάκελο, επιτρέποντας στους χρήστες να αναζητούν τις βιβλιοθήκες τους σε απλή γλώσσα. Το έργο εμφανίστηκε στο GitHub αυτή την εβδομάδα και γρήγορα ανέβηκε στην πρώτη σελίδα του Hacker News, όπου συγκέντρωσε περισσότερους από 85 πόντους μέσα σε λίγες ώρες.
Το βήμα είναι απλό στην επιφάνεια: τοποθετήστε το SCM σε οποιονδήποτε φάκελο και δημιουργεί ένα ευρετήριο με δυνατότητα αναζήτησης του τι υπάρχει πραγματικά στα πολυμέσα σας — όχι μόνο ονόματα αρχείων, αλλά το οπτικό περιεχόμενο κάθε εικόνας και κάθε σκηνής μέσα σε κάθε βίντεο. Αυτό που το ξεχωρίζει σε ένα πολυσύχναστο πεδίο εργαλείων φωτογραφίας AI είναι ότι όλα εκτελούνται στον ίδιο τον Mac. Δεν υπάρχουν λογαριασμοί, δεν υπάρχουν μεταφορτώσεις cloud και τηλεμετρία. Μόλις τα μοντέλα κατεβάσουν τα βάρη τους στην πρώτη εκτέλεση, η εφαρμογή λειτουργεί εκτός σύνδεσης. For more context on this story, see our ongoing artificial intelligence updates.
Πέντε τρόποι αναζήτησης πολυμέσων για μια ζωή
Το SCM οργανώνει την αναζήτηση σε πέντε διακριτές λειτουργίες, καθεμία από τις οποίες τροφοδοτείται από διαφορετικό μοντέλο που εκτελείται τοπικά.
Η λειτουργία Αρχεία εκτελεί σημασιολογική αναζήτηση ολόκληρου του αρχείου σε φωτογραφίες και βίντεο, ταξινομώντας τα αποτελέσματα κατά νόημα με ενισχύσεις από ονόματα αρχείων και φράσεις. Οι Σκηνές προχωρούν βαθύτερα: η εφαρμογή τμηματοποιεί τα βίντεο σε μεμονωμένες σκηνές και ενσωματώνει την καθεμία ξεχωριστά, έτσι ώστε ένα ερώτημα να σας προσγειώνει στην ακριβή λήψη, με ένα άλμα κατευθείαν στον κωδικό ώρας της αντί για μια χρονική σήμανση θαμμένη σε ένα όνομα αρχείου.
Δύο λειτουργίες εστιασμένης στο κείμενο χειρίζονται τις λέξεις μέσα στα μέσα. Η λειτουργία OCR, που βασίζεται στον κινητήρα Tesseract, διαβάζει κείμενο που υπάρχει εμφανώς σε εικόνες και καρέ βίντεο και ταιριάζει κυριολεκτικά με αυτό, με Αγγλικά και 35 επιπλέον πακέτα γλωσσών που μπορούν να ενεργοποιηθούν. Η λειτουργία Dialogue εκτελεί την αναγνώριση ομιλίας Whisper σε βίντεο και ευρετηριάζει τις ακριβείς προφορικές λέξεις, με κλιμακωτά επίπεδα ακρίβειας αντιστοίχισης για το κυνήγι μιας συγκεκριμένης γραμμής.
Τέλος, μια λειτουργία επιλογής LLM μετατρέπει το εξαγόμενο υλικό — μεταγραφές διαλόγου, κείμενο OCR και ονόματα αρχείων — σε ένα τοπικό πλαίσιο συνομιλίας. Οι χρήστες μπορούν να κάνουν ερωτήσεις σχετικά με τη δική τους βιβλιοθήκη και η εφαρμογή επιστρέφει απαντήσεις με παραπομπές που δείχνουν πίσω στα αρχεία προέλευσης, όλα δημιουργημένα από ένα μοντέλο που εκτελείται στον ίδιο υπολογιστή.
Πώς λειτουργεί κάτω από την κουκούλα
Τεχνικά, το SCM είναι μια εφαρμογή Electron γραμμένη σε JavaScript, χρησιμοποιώντας την εργαλειοθήκη Bun ως διαχειριστή πακέτων και χρόνο εκτέλεσης. Η ανύψωση βαρών γίνεται από μοντέλα μετασχηματιστών που εκτελούνται απευθείας στην εφαρμογή - το προεπιλεγμένο μοντέλο όρασης είναι μια παραλλαγή CLIP της οποίας τα βάρη, περίπου 435 megabyte, κατεβαίνουν μία φορά κατά την πρώτη χρήση.
Ο δείκτης διατηρεί τον εαυτό του. Οι φάκελοι παρακολούθησης εισάγουν αυτόματα νέα μέσα καθώς φτάνουν, ο κατακερματισμός περιεχομένου καταργεί τα διπλότυπα αρχεία που έχουν απλώς μετονομαστεί ή μετακινηθεί και η εναλλαγή σε διαφορετικό μοντέλο ενσωματώνει εκ νέου τη βιβλιοθήκη στο παρασκήνιο χωρίς να εμποδίζει τις αναζητήσεις. Ο προγραμματιστής σημειώνει ότι οι λειτουργίες της γραμμής μενού και του δίσκου είναι ειδικά για το macOS, όπου η εφαρμογή είναι συσκευασμένη για διανομή.
Το μοντέλο απορρήτου είναι το σημείο πώλησης. Η τεκμηρίωση του έργου είναι σαφής: τα μέσα δεν φεύγουν ποτέ από το μηχάνημα, το συμπέρασμα εκτελείται τοπικά μέσω των χρόνων εκτέλεσης του μετασχηματιστή και μετά τη λήψη του αρχικού βάρους, όλα λειτουργούν εκτός σύνδεσης. Για χρήστες με ευαίσθητα αρχεία — ιατρικές εικόνες, νομικά πλάνα, προσωπικά βίντεο — αυτή η αρχιτεκτονική επιλογή είναι το χαρακτηριστικό.
Κατασκευάστηκε για Προσωπικά Αρχεία
Η διεπαφή αντανακλά την ίδια φιλοσοφία προσαρμογής. Οποιοδήποτε ερώτημα μπορεί να αποθηκευτεί ως επαναχρησιμοποιήσιμη καρτέλα, επομένως μια αναζήτηση που χρειάστηκε λίγο χρόνο για να διατυπωθεί γίνεται μόνιμη προβολή στη βιβλιοθήκη. Η εφαρμογή διατίθεται επίσης με εναλλασσόμενες καρτέλες Στιγμιότυπα οθόνης και Email, αναγνωρίζοντας ότι ένας σύγχρονος Mac συγκεντρώνει στιγμιότυπα οθόνης και συνημμένα με ρυθμό που ξεπερνά γρήγορα την αναζήτηση του ίδιου του λειτουργικού συστήματος.
Η υποκείμενη τεχνική είναι ο πλέον τυποποιημένος μηχανισμός σημασιολογικής αναζήτησης: ένα μοντέλο όρασης μετατρέπει κάθε εικόνα και σκηνή βίντεο σε αριθμητική ενσωμάτωση και τα ερωτήματα ενσωματώνονται με τον ίδιο τρόπο, ώστε η αντιστοίχιση να γίνεται με βάση το νόημα και όχι με την επικάλυψη λέξεων-κλειδιών. Αυτό που είναι αξιοσημείωτο εδώ δεν είναι η τεχνική αλλά η συσκευασία — ο ίδιος αγωγός που εκτελούνται οι υπηρεσίες φωτογραφιών cloud σε φάρμες διακομιστών συμπιέζεται σε μια εφαρμογή Electron που ένας μη προγραμματιστής μπορεί να εγκαταστήσει και να τρέξει χωρίς επίβλεψη σε φακέλους της επιλογής του.
Μέρος μιας μεγαλύτερης στροφής προς την τοπική τεχνητή νοημοσύνη
Το SCM φτάνει καθώς η εκτέλεση μοντέλων με ικανή τεχνητή νοημοσύνη σε καταναλωτικό υλικό έχει γίνει από καινοτομία στην προσδοκία. Η Apple έχει ωθήσει σταθερά τη σημασιολογική αναζήτηση στη δική της εφαρμογή Photos, ενώ τα μοντέλα ανοιχτού κώδικα ομιλίας, όρασης και κειμένου έχουν συρρικνωθεί σε μεγέθη που λειτουργούν άνετα σε φορητούς υπολογιστές. Αυτό που παραμένει σπάνιο δεν είναι τα υποκείμενα μοντέλα αλλά το επίπεδο ενοποίησης — λογισμικό που τα ενώνει σε κάτι που ένας μη μηχανικός μπορεί πραγματικά να χρησιμοποιήσει στα δικά του αρχεία.
Αυτή είναι η θέση που καταλαμβάνει το SCM και η λήψη του υποδηλώνει ότι η φαγούρα είναι πραγματική. Το αποθετήριο συγκέντρωσε 160 αστέρια και οκτώ πιρούνια σε περίπου μια ημέρα, με τους σχολιαστές του Hacker News να επικεντρώνουν τις ερωτήσεις τους στα μεγέθη των μοντέλων, την ταχύτητα ευρετηρίασης και τη διαθεσιμότητα των Windows — προς το παρόν η απάντηση στο τελευταίο είναι όχι, καθώς το έργο είναι μόνο για macOS προς το παρόν.
Το έργο κυκλοφορεί με την άδεια του MIT, η οποία επιτρέπει την εμπορική χρήση και την τροποποίηση. Για οποιονδήποτε έχει ένα μεγάλο, ανοργάνωτο αρχείο φωτογραφιών και εγγραφών οθόνης και δεν του αρέσει να το ανεβάζει οπουδήποτε, είναι μια από τις πιο συναρπαστικές αποδείξεις ακόμη ότι μια πλήρως τοπική μηχανή αναζήτησης μέσων δεν είναι πλέον μια δοκιμαστική επίδειξη έρευνας – είναι μια απογευματινή εγκατάσταση.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
