Apple 的新“Harbor”应用程序将 Mac 变成通过 Thunderbolt 5 集群的私有 AI 推理服务器

泄露的细节显示，苹果的 Harbor 应用程序在苹果芯片上本地运行开放式人工智能模型，并通过 Thunderbolt 5 将多台 Mac 集群到一台服务器中。

苹果似乎已准备好让在 Mac 上运行人工智能模型变得更加简单。泄密者 Aaron Perris 发现了一款名为 Harbor 的新苹果应用程序的证据，9to5Mac 周二报道称，该应用程序旨在将 Mac 转变为私人人工智能推理服务器 - 一台完全在本地硬件上运行开放式人工智能模型的机器，没有任何数据离开建筑物。

Perris 在 X 上发布的这一发现提供了迄今为止 Apple 计划如何正式确定 Mac 增长最快的用例之一的最清晰的视角：爱好者和专业人士购买 Mac Studio 和 Mac mini 机器专门用于在本地运行 AI 模型，而不是支付云服务费用。更多相关背景，请参阅我们的人工智能资讯。

Harbour 实际上是做什么的

根据 Perris 公布的详细信息，Harbor 允许用户在苹果芯片上本地运行开放权重模型。其主张是隐私第一：您的数据永远不会离开您的硬件，也不会到达云端。这使得该应用程序成为当今市场上主导的依赖于云的人工智能工具的直接答案，并且它符合苹果长期以来对设备上处理的营销重点。

该应用程序还处理模型管理。用户可以从应用程序本身浏览、下载和加载开放重量模型。正如 Perris 的总结所述，Harbor 处理模型管理“因此您可以专注于工作，而不是设置”——这与当前运行本地模型所需的命令行工具和手动配置形成了显着对比。

通过 Thunderbolt 5 对 Mac 进行集群

最显着的特征是聚类。 Harbor 可以连接两台或多台支持 Thunderbolt 5 的 Mac 计算机，并将它们的统一内存集中到单个推理资源中。这意味着用户可以运行超出任何一台计算机在内存中可以容纳的模型，或者在集群中提供比一台机器单独处理的更多的并发请求。

这种做法很不寻常。大多数多机人工智能推理设置依赖于高速网络互连和专用数据中心硬件。 Apple 的实施依赖于 Thunderbolt 5，这是一种高带宽接口，现已出现在其专业 Mac 系列中，将消费者和专业消费者机器编织成类似于小型推理设备的东西。

设置只需几分钟，而不是几小时

苹果显然是针对从未接触过服务器的用户。根据泄露的功能描述，Harbor 自动检测通过 Thunderbolt 5 连接的设备以形成集群 - 插入、启动，然后运行，无需手动配置、无需命令行，也无需基础设施专业知识。

易用性是该应用程序真正的与众不同之处。如今运行本地人工智能模型通常意味着安装运行时、从模型中心下载权重以及手动调整内存设置。 Harbor 将整个工作流程包装在一个引导式消费级界面中。

Claris 品牌的私人预览

据 9to5Mac 报道，Harbor 目前正在 Apple 的 Claris 品牌下进行私人预览，这表明该项目属于 Apple 的附属组织之一，而不是其主要产品组。该报告指出，该应用程序似乎将在未来几周和几个月内向公众发布，尽管苹果尚未确认任何发布计划。

私人预览状态意味着功能和品牌可能会在公开发布之前发生变化。但是，一款专门用于本地推理的完善内部应用程序（包括集群）的存在标志着本地人工智能已经从业余爱好者的利基市场转向苹果内部的战略产品领域。

为什么 Mac 成为人工智能主力

9to5Mac 指出，Mac 今年变得越来越受欢迎，这既是因为新款 MacBook Neo 等经济实惠的选择，也是因为这些机器作为在 Mac Studio 和 Mac mini 硬件上本地运行 AI 模型的工具的吸引力。

Apple Silicon 的统一内存架构是根本原因：由于 CPU 和 GPU 共享一个快速内存池，因此可以在机器上完整加载大型语言模型并高效提供服务，而成本仅为同类 GPU 服务器的一小部分。这使得在家里运行大型开放式模型的开发人员中常见的情况是，Mac Studio 机器已达到极限。

这对开发人员和小型团队意味着什么

如果港口船舶如所描述的那样，其实际影响将超出便利性。如今，租用云 GPU 来服务开放权重模型的小型团队可以将他们的工具指向桌面上的 Mac 集群，将数据保留在内部，并且只需为他们已经拥有的硬件付费。该应用程序强调服务并发请求，这表明苹果正在考虑多个人或服务利用同一模型的工作负载，而不是单个用户与一个用户聊天。

它还降低了实验的门槛。对自托管开放权重模型感兴趣的开发人员目前必须在服务单个请求之前将运行时间、量化权重和内存数学拼凑在一起。一个检测硬件、下载模型和管理集群的引导式应用程序几乎消除了所有的设置成本。