Nvidia는 개방형 모델을 두 배로 늘리면서 조용히 새로운 AI 안전 팀을 구성합니다.

Nvidia는 새로운 AI 안전 및 보안 엔지니어링 팀을 구성하여 개방형 모델 및 에이전트에 대한 추진과 함께 보안 AI에 대한 더 큰 투자를 예고하고 있습니다.

지난달 말 게시된 구인 목록에 따르면 Nvidia는 조용히 새로운 AI 안전 및 보안 엔지니어링 팀을 구성하고 있으며, 이는 칩 거대 기업이 개방형 모델과 자율 에이전트가 형성하는 미래에 공격적으로 베팅하면서도 안전을 더 큰 우선순위로 삼고 있음을 나타냅니다.

Business Insider가 보고한 채용 추진은 Nvidia가 보안 연구 엔지니어 및 기타 전문가와 함께 새로 구성된 팀의 창립 기술 리더 역할을 할 "뛰어난 엔지니어"를 찾고 있음을 보여줍니다. 이러한 움직임은 회사가 개방형 AI에 대한 노력을 심화하고 더 넓은 업계가 AI 시스템과 관련된 보안 사고의 물결에 직면함에 따라 이루어졌습니다. AI 속보 주기를 따르는 독자들에게 이 개발은 알리는 신호입니다. AI 골드러시의 곡괭이와 삽을 판매하는 회사는 이제 이러한 도구를 안전하게 사용할 수 있도록 하는 데 더 큰 손길을 원합니다.

구인 목록이 밝혀주는 것

Business Insider에 따르면 새로운 팀은 보안 AI 개발 원칙에 뿌리를 둔 것으로 하나의 목록에 설명되어 있습니다. Nvidia는 그룹의 "창립 기술 리더" 역할을 할 뛰어난 엔지니어를 모집하고 있습니다. 이는 팀이 기존 단위에서 확장되기보다는 처음부터 다시 구축되고 있음을 시사하는 표현입니다. 회사는 AI 전문 보안 연구 엔지니어도 채용하고 있다.

채용 내용에 따르면 Nvidia는 개방형 모델과 AI 에이전트를 중심으로 한 전략을 채택하면서 AI 안전을 보다 신중하고 공식적인 우선순위로 삼고 있습니다. 공개 가중치 모델은 훈련 데이터와 소스 코드가 비공개로 유지되더라도 훈련된 "가중치"(모델의 작동 방식을 결정하는 매개변수)를 공개적으로 사용할 수 있습니다. 이러한 개방성은 혁신을 가속화하고 개발자가 Nvidia 하드웨어에서 모델을 실행할 수 있도록 하지만 폐쇄형 API 게이트 시스템이 회피할 수 있는 보안 문제도 제기합니다.

개방형 모델이 위험을 높이는 이유

개방형 가중치 모델은 AI 안전 논쟁에서 복잡한 위치를 차지합니다. 가중치를 공개적으로 공개함으로써 연구소는 연구원과 개발자로 구성된 글로벌 커뮤니티가 종종 Nvidia의 자체 GPU에서 강력한 모델을 검사, 미세 조정 및 배포할 수 있도록 지원합니다. 이러한 개방성은 과학적 진보와 Nvidia의 비즈니스에 진정한 이점입니다. 그러나 이는 가중치가 적용되면 실험실에서 모델이 사용, 수정 또는 남용되는 방식에 대한 통제력을 상실한다는 의미이기도 합니다.

개방형 모델을 다운로드하는 악의적인 행위자는 안전 가드레일을 제거하거나, 사이버 공격을 위해 모델의 용도를 변경하거나, 작성자가 의도하지 않은 방식으로 모델을 다른 도구와 결합하려고 시도할 수 있습니다. 운영자가 사용량을 모니터링하고, 요청 속도를 제한하고, 액세스를 취소할 수 있는 API 뒤에서 제공되는 모델과 달리, 개방형 가중치 모델은 실행할 하드웨어가 있는 곳이면 어디에서나 실행됩니다. 이것이 바로 개방형 AI에 투자한 기업이 전담 안전 및 보안 팀을 원하는 이유입니다. 두 가지 전략은 동전의 양면입니다.

따라서 Nvidia의 상업적 이익과 안전 태세는 긴밀하게 연결되어 있습니다. 회사가 개방형 채택을 장려할수록 해당 생태계의 책임 있는 관리자로 간주되어 더 많은 이점을 얻을 수 있습니다.

AI 보안에 대한 더 넓은 업계의 평가

새로운 팀은 공백 상태로 도착하지 않습니다. 엔비디아의 채용은 AI 보안이 추상적인 관심사에서 구체적이고 반복되는 문제로 옮겨가는 시기와 일치합니다. 최근 몇 주 동안 사이버 보안 목적으로 테스트된 시스템이 예기치 않게 작동하는 경우를 포함하여 AI 에이전트가 개발자가 완전히 예상하지 못한 방식으로 자율적으로 행동하는 능력을 입증한 일련의 중요한 사건이 있었습니다.

Nvidia 자체가 업계 대응의 중심에 있었습니다. 이 회사는 최근 사이버 보안 투명성과 안전 표준을 확립하기 위해 30개 이상의 기업을 하나로 모으는 개방적이고 안전한 AI 동맹을 주도하는 데 도움을 주었으며 작업이 빠르게 발전했습니다. 새로운 사내 안전팀은 개방형 AI 운동에 대한 Nvidia의 기여를 강화하는 방법인 외부 연합의 내부 보완 역할을 하는 것으로 보입니다.

일부 경쟁사와의 대조는 주목할 만하다. 몇몇 첨단 연구실에서는 주요 안전 메커니즘으로 제한, 액세스 제어 및 게이트 배포를 강조했습니다. 증가하는 안전 장치와 결합된 개방형 가중치인 Nvidia의 접근 방식은 개방성과 보안이 반대가 아니며, 자원이 풍부한 안전 팀이 개방형 모델을 실행 가능하게 만들 수 있다는 다른 철학을 반영합니다.

Nvidia의 전략에 대한 신호

Nvidia의 경우 미적분학이 명확합니다. 회사의 핵심 사업은 AI를 실행하는 하드웨어를 판매하는 것이며 개방형 모델은 하드웨어 수요의 강력한 원동력입니다. 누구나 유능한 모델을 다운로드할 수 있으면 예산이 있는 사람은 누구나 잠재적인 Nvidia 고객이 됩니다. AI 안전에 투자하면 개방형 모델이 엄격한 규제나 소비자 반발을 불러일으킬 수 있는 피해와 연관될 위험을 줄여 플라이휠을 보호할 수 있습니다.

전담 안전 및 보안 엔지니어링 팀을 구성하는 것도 채용 신호입니다. 최고의 AI 안전 연구자들은 엄청난 수요를 갖고 있으며, 저명한 엔지니어가 이끄는 신뢰할 수 있는 팀은 Nvidia가 최첨단 연구실로 끌릴 수 있는 인재를 유치하는 데 도움을 줄 수 있습니다. 그 재능은 결국 업계 표준을 형성할 수 있으며, Nvidia가 구축하는 데 도움이 되는 개방형 AI 생태계의 규칙에 영향력을 행사할 수 있습니다.

앞으로 나아갈 길

Nvidia는 새 팀의 작업에 대한 공개 로드맵을 자세히 설명하지 않았으며 목록을 보면 그룹이 여전히 형태를 취하고 있음을 알 수 있습니다. 하지만 방향은 확실하지 않습니다. AI 에이전트의 역량이 더욱 강화되고 개방형 모델이 더욱 광범위하게 배포됨에 따라 전 세계 AI의 대부분을 지원하는 회사는 이제 그 힘을 억제하기 위해 사람들을 모으고 있습니다.

앞으로 몇 달 동안 Nvidia의 안전 베팅이 상업적 야망에 부응할 수 있는지, 그리고 개방형 AI 미래가 혁신적이고 안전할 수 있는지 여부가 드러날 것입니다.