Согласно опубликованным в конце прошлого месяца спискам вакансий, Nvidia потихоньку собирает новую команду инженеров по безопасности и защите ИИ, что свидетельствует о том, что гигант чипов делает безопасность более важным приоритетом, даже несмотря на то, что он агрессивно делает ставку на будущее, формируемое моделями с открытым весом и автономными агентами.
Набор сотрудников, о котором сообщает Business Insider, показывает, что Nvidia ищет «выдающегося инженера», который станет техническим лидером-основателем недавно собранной команды, наряду с инженером-исследователем в области безопасности и другими специалистами. Этот шаг происходит по мере того, как компания углубляет свою приверженность открытому ИИ, а также по мере того, как отрасль в целом сталкивается с волной инцидентов безопасности, связанных с системами ИИ. Для читателей, следящих за циклом последних новостей об искусственном интеллекте, это событие является показательным сигналом: компания, продающая кирки и лопаты золотой лихорадки искусственного интеллекта, теперь хочет усилить контроль над безопасностью использования этих инструментов.
Что показывают списки вакансий
По данным Business Insider, в одном списке говорится, что новая команда придерживается принципов безопасной разработки искусственного интеллекта. Nvidia нанимает выдающегося инженера, который станет «техническим руководителем-основателем» группы. Эта формулировка предполагает, что команда создается с нуля, а не расширяется из существующего подразделения. Компания также нанимает инженера-исследователя безопасности, специализирующегося на искусственном интеллекте.
Этот набор сотрудников предполагает, что Nvidia делает безопасность ИИ более осознанным и формальным приоритетом, поскольку она опирается на стратегию, основанную на моделях открытого веса и агентах ИИ. Модели с открытыми весами делают свои обученные «веса» — параметры, определяющие поведение модели — общедоступными, даже если их обучающие данные и исходный код остаются конфиденциальными. Такая открытость ускоряет инновации и позволяет разработчикам запускать модели на оборудовании Nvidia, но также поднимает вопросы безопасности, которые закрытые системы с API-интерфейсом могут обойти.
Почему модели с открытым весом повышают ставки
Модели с открытым весом занимают сложную позицию в дебатах о безопасности ИИ. Публикуя данные о весах, лаборатории позволяют мировому сообществу исследователей и разработчиков проверять, настраивать и развертывать мощные модели — часто на собственных графических процессорах Nvidia. Такая открытость является настоящим благом для научного прогресса и бизнеса Nvidia. Но это также означает, что как только веса исчезнут, лаборатория потеряет контроль над тем, как модель используется, модифицируется или злоупотребляется.
Злоумышленник, загрузивший модель с открытым весом, может попытаться убрать защитные ограждения, переназначить модель для кибератак или объединить ее с другими инструментами так, как ее создатели никогда не планировали. В отличие от модели, обслуживаемой API, где оператор может отслеживать использование, ограничивать запросы и отзывать доступ, модель с открытым весом работает везде, где у кого-то есть оборудование для ее запуска. Именно поэтому компания, так инвестирующая в открытый ИИ, также нуждается в выделенной команде по обеспечению безопасности: эти две стратегии — две стороны одной медали.
Таким образом, коммерческие интересы Nvidia и ее безопасность тесно связаны. Чем больше компания поощряет внедрение открытого веса, тем больше она выигрывает от того, что ее считают ответственным управляющим этой экосистемы.
Более широкая отрасль делает ставку на безопасность ИИ
Новая команда не появляется на пустом месте. Прием на работу в Nvidia совпал с периодом, когда безопасность ИИ превратилась из абстрактной проблемы в конкретную, повторяющуюся проблему. За последние недели произошла серия громких инцидентов, в которых агенты ИИ продемонстрировали способность действовать автономно так, как их разработчики не полностью предвидели, включая случаи, когда системы, протестированные в целях кибербезопасности, вели себя неожиданно.
Сама Nvidia оказалась в центре реакции отрасли. Недавно компания помогла возглавить открытый и безопасный альянс в области искусственного интеллекта, объединяющий более 30 фирм для установления стандартов прозрачности и безопасности кибербезопасности, и эта работа быстро продвигается вперед. Новая внутренняя команда безопасности, похоже, является внутренним дополнением к этой внешней коалиции: это способ усилить вклад Nvidia в движение открытого ИИ.
Контраст с некоторыми соперниками заметен. Несколько пограничных лабораторий подчеркнули, что ограничения, контроль доступа и закрытое развертывание являются основными механизмами безопасности. Подход Nvidia — открытые веса в сочетании с растущим аппаратом безопасности — отражает другую философию: открытость и безопасность не являются противоположностями, и что хорошо обеспеченная ресурсами команда безопасности может сделать открытые модели жизнеспособными.
Что это говорит о стратегии Nvidia
Для Nvidia расчет ясен. Основной бизнес компании — продажа оборудования, поддерживающего искусственный интеллект, а модели с открытым весом являются мощным драйвером спроса на оборудование: когда каждый может загрузить работоспособную модель, любой, у кого есть бюджет, становится потенциальным клиентом Nvidia. Инвестиции в безопасность ИИ защищают этот маховик, снижая риск того, что открытые модели будут связаны с вредом, который может вызвать жесткое регулирование или негативную реакцию потребителей.
Создание специальной команды инженеров по обеспечению безопасности также является сигналом о приеме на работу. Ведущие исследователи в области безопасности искусственного интеллекта пользуются огромным спросом, и надежная команда, возглавляемая выдающимся инженером, может помочь Nvidia привлечь таланты, которые в противном случае могли бы тяготеть к передовой лаборатории. Этот талант, в свою очередь, может формировать отраслевые стандарты, предоставляя Nvidia влияние на правила экосистемы открытого искусственного интеллекта, которую она помогает создавать.
Дорога вперед
Nvidia не предоставила подробного публичного плана работы новой команды, и данные показывают, что группа все еще находится в стадии формирования. Но направление однозначно. По мере того, как агенты ИИ становятся все более способными, а модели с открытым весом более широко применяются, компания, которая обеспечивает большую часть мирового ИИ, теперь собирает людей, чтобы помочь держать эту мощь под контролем.
Ближайшие месяцы покажут, сможет ли Nvidia сделать ставку на безопасность соответствовать ее коммерческим амбициям — и может ли будущее открытого искусственного интеллекта быть инновационным и безопасным.
Будьте впереди ИИ
Пересечение безопасности искусственного интеллекта, открытых моделей и аппаратного обеспечения развивается быстро. Следите за нашими освещениями об отрасли искусственного интеллекта, чтобы получать постоянные репортажи о Nvidia, передовых лабораториях и политике, их формирующей.
Читать больше новостей об искусственном интеллекте →
