Apple dường như đã sẵn sàng làm cho các mô hình AI chạy trên máy Mac trở nên đơn giản hơn đáng kể. Leaker Aaron Perris đã phát hiện ra bằng chứng về một ứng dụng mới của Apple có tên Harbor, mà 9to5Mac đưa tin hôm thứ Ba được thiết kế để biến máy Mac thành máy chủ suy luận AI riêng tư - một máy chạy các mô hình AI có trọng lượng mở hoàn toàn trên phần cứng cục bộ, không có dữ liệu nào rời khỏi tòa nhà.

Khám phá này được Perris công bố trên X, cung cấp cái nhìn rõ ràng nhất về cách Apple lên kế hoạch chính thức hóa một trong những trường hợp sử dụng phát triển nhanh nhất của Mac: những người đam mê và chuyên gia mua máy Mac Studio và Mac mini đặc biệt để chạy các mô hình AI cục bộ thay vì trả tiền cho các dịch vụ đám mây. For more context on this story, see our ongoing more AI stories.

Cảng thực sự làm gì

Theo thông tin chi tiết mà Perris công bố, Harbor cho phép người dùng chạy cục bộ các mô hình trọng lượng mở trên silicon của Apple. Ưu tiên hàng đầu là quyền riêng tư: dữ liệu của bạn không bao giờ rời khỏi phần cứng và không có gì lọt vào đám mây. Điều đó định vị ứng dụng này như một câu trả lời trực tiếp cho các công cụ AI phụ thuộc vào đám mây đang thống trị thị trường hiện nay và nó phù hợp với trọng tâm tiếp thị lâu dài của Apple về xử lý trên thiết bị.

Ứng dụng này cũng xử lý việc quản lý mô hình. Người dùng có thể duyệt, tải xuống và tải các mô hình có trọng lượng mở từ chính ứng dụng. Như bản tóm tắt của Perris đã trình bày, Harbor xử lý việc quản lý mô hình "để bạn có thể tập trung vào công việc chứ không phải thiết lập" — một sự tương phản đáng chú ý với các công cụ dòng lệnh và cấu hình thủ công mà việc chạy các mô hình cục bộ hiện đang yêu cầu.

Phân cụm máy Mac qua Thunderbolt 5

Tính năng nổi bật nhất là phân cụm. Harbor có thể kết nối hai hoặc nhiều máy tính Mac có hỗ trợ Thunderbolt 5 và gộp bộ nhớ hợp nhất của chúng vào một tài nguyên suy luận duy nhất. Điều đó có nghĩa là người dùng có thể chạy các mô hình vượt quá những gì mà bất kỳ máy tính đơn lẻ nào có thể chứa trong bộ nhớ hoặc phục vụ nhiều yêu cầu đồng thời trên toàn cụm hơn là một máy có thể xử lý một mình.

Cách tiếp cận này thật khác thường. Hầu hết các thiết lập suy luận AI đa máy đều dựa vào kết nối mạng tốc độ cao và phần cứng trung tâm dữ liệu chuyên dụng. Việc triển khai của Apple dựa trên Thunderbolt 5, giao diện băng thông cao hiện có trên dòng máy Mac chuyên nghiệp của hãng, để kết hợp các máy tiêu dùng và máy tiêu dùng thành một thứ giống như một thiết bị suy luận nhỏ.

Thiết lập trong vài phút, không phải hàng giờ

Apple rõ ràng đang nhắm đến những người dùng chưa bao giờ chạm vào máy chủ. Theo mô tả tính năng bị rò rỉ, Harbor tự động phát hiện các thiết bị được kết nối qua Thunderbolt 5 để tạo thành một cụm — cắm vào, khởi động và bạn đang chạy, không cần cấu hình thủ công, không dòng lệnh và không cần kiến ​​thức chuyên môn về cơ sở hạ tầng.

Sự dễ sử dụng đó chính là điểm khác biệt thực sự của ứng dụng. Chạy các mô hình AI cục bộ ngày nay thường có nghĩa là cài đặt thời gian chạy, tải xuống trọng số từ trung tâm mô hình và điều chỉnh cài đặt bộ nhớ bằng tay. Harbor bao bọc toàn bộ quy trình làm việc đó trong một giao diện có hướng dẫn, cấp độ người tiêu dùng.

Bản xem trước riêng tư dưới thương hiệu Claris

Theo 9to5Mac, Harbor hiện đang ở giai đoạn xem trước riêng tư dưới thương hiệu Claris của Apple, cho thấy dự án này nằm trong một trong các tổ chức công ty con của Apple chứ không phải là nhóm sản phẩm chính của hãng. Báo cáo lưu ý rằng có vẻ như ứng dụng này sẽ ra mắt công chúng trong những tuần và tháng tới, mặc dù Apple chưa xác nhận bất kỳ kế hoạch phát hành nào.

Trạng thái xem trước riêng tư có nghĩa là các tính năng và nhãn hiệu có thể thay đổi trước khi phát hành công khai. Nhưng sự tồn tại của một ứng dụng nội bộ bóng bẩy dành riêng cho suy luận cục bộ - hoàn chỉnh với tính năng phân cụm - báo hiệu rằng AI cục bộ đã chuyển từ vị trí thích hợp theo sở thích sang lĩnh vực sản phẩm chiến lược bên trong Apple.

Tại sao Mac lại trở thành cỗ máy AI

9to5Mac lưu ý rằng Mac đã trở nên phổ biến hơn đáng kể trong năm nay, cả vì các tùy chọn thân thiện với ngân sách như MacBook Neo mới và vì sự hấp dẫn của máy như là công cụ chạy mô hình AI cục bộ trên phần cứng Mac Studio và Mac mini.

Kiến trúc bộ nhớ hợp nhất của Apple silicon là lý do cơ bản: vì CPU và GPU chia sẻ một nhóm bộ nhớ nhanh, các mô hình ngôn ngữ lớn có thể được tải đầy đủ và phục vụ hiệu quả trên các máy có chi phí chỉ bằng một phần nhỏ so với các máy chủ GPU tương đương. Điều đó đã khiến những chiếc máy Mac Studio có công suất tối đa trở thành hình ảnh phổ biến trong số các nhà phát triển đang chạy các mẫu máy có trọng lượng mở lớn hơn tại nhà.

Điều đó có ý nghĩa gì đối với Nhà phát triển và Nhóm nhỏ

Nếu bến cảng tàu như mô tả, ý nghĩa thực tiễn vượt xa sự tiện lợi. Thay vào đó, các nhóm nhỏ thuê GPU đám mây để phục vụ mô hình trọng lượng mở có thể hướng công cụ của họ vào cụm máy Mac trên bàn làm việc, giữ dữ liệu nội bộ và chỉ trả tiền cho phần cứng mà họ đã sở hữu. Việc ứng dụng nhấn mạnh vào việc phục vụ các yêu cầu đồng thời cho thấy Apple đang nghĩ đến khối lượng công việc trong đó nhiều người hoặc dịch vụ vẽ trên cùng một mô hình, thay vì một người dùng trò chuyện với một người.

Nó cũng làm giảm rào cản cho việc thử nghiệm. Một nhà phát triển tò mò về việc tự lưu trữ một mô hình trọng lượng mở hiện phải ghép các thời gian chạy, trọng số lượng tử hóa và phép toán bộ nhớ lại với nhau trước khi phân phát một yêu cầu. Một ứng dụng được hướng dẫn có chức năng phát hiện phần cứng, tải xuống mô hình và quản lý cụm sẽ loại bỏ gần như toàn bộ chi phí thiết lập đó.

Trò chơi riêng tư trên nền tảng đám mây

Nếu Harbor xuất xưởng như mô tả, nó sẽ mang lại cho Apple câu trả lời rõ ràng cho câu hỏi mà các đối thủ của họ đang phải vật lộn: một nhà sản xuất máy tính phổ thông cung cấp những gì cho những người muốn có AI có khả năng mà không gửi dữ liệu của họ đến trung tâm dữ liệu của người khác? Hóa ra, câu trả lời có thể là một ứng dụng biến chiếc máy đã có trên bàn của bạn thành trung tâm dữ liệu.

Hiện tại, các chi tiết vẫn bị rò rỉ thay vì thông báo và Apple chưa nói gì công khai. Nhưng giữa thương hiệu, bộ tính năng và thời gian, Harbor có vẻ như là một trong những sản phẩm AI thú vị hơn sẽ ra mắt trong những tháng tới.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →