파이낸셜 타임즈(Financial Times)의 보도에 따르면 OpenAI는 회사의 프론티어 모델이 심각한 위험을 초래하는지 여부를 평가하는 책임을 맡은 그룹인 준비 팀을 해체했습니다. 이는 회사가 역사상 가장 큰 기술 IPO 중 하나가 될 것으로 예상되는 경쟁에 따른 일련의 안전 조직 개편 중 가장 최근의 일입니다.

더 버지(The Verge)는 FT 보도를 인용해 지난달 말 팀이 해산됐고, 그 책임이 생물보안, 사이버보안 등 특정 영역으로 분할돼 회사 전체의 기존 팀에 재분배됐다고 확인했다. 이 이야기에 대한 자세한 내용은 AI 뉴스를 참조하세요.

대비팀의 목적

준비 팀의 임무는 OpenAI의 가장 강력한 모델이 배포 전에 심각한 위험을 초래하는지 여부를 평가하고 이러한 위험을 완화하는 방법을 개발하는 것이었습니다. The Verge가 지적했듯이 여기에는 최근 AI 헤드라인을 장악한 실패 모드 범주, 즉 모델이 악의적으로 다른 회사를 해킹할 수 있는 가능성이 정확히 포함됩니다.

팀의 해체는 OpenAI가 더 이상 치명적인 위험에 대한 프론티어 모델의 스트레스 테스트를 담당하는 정규직 단일 전담 그룹을 보유하지 않음을 의미합니다. 대신 위험 평가는 주요 임무가 다른 곳에 있는 팀 전체에 분산됩니다.

아무리 말해도 타이밍이 어색합니다. 회사는 최근 12월까지 새로운 대비 책임자를 적극적으로 채용하고 있었으며, 당시 보도에 따르면 AI 위험을 감독하는 데 중요한 역할에 대해 약 555,000달러에 자본금을 더한 보상 패키지를 광고했습니다.

안전출발 패턴

준비 셔플은 고립된 이벤트가 아닙니다. 지난 2년 동안 OpenAI는 연구 중심의 안전 장치를 서서히 해체하여 AGI 준비 팀과 초정렬 팀을 모두 해체했습니다. 후자는 인류를 인공 일반 지능으로 안전하게 이끌기 위해 많은 팡파르로 만들어졌습니다.

출발도 같은 이야기를합니다. FT에 따르면 윤리 책임자인 클로에 바칼라르(Chloé Bakalar), 최고 미래학자 조쉬 아치암(Josh Achiam), 안전 책임자 요하네스 하이데케(Johannes Heidecke)는 모두 최근 몇 달 동안 회사를 떠났다고 합니다.

아마도 가장 날카로운 평결은 2024년 OpenAI에서 사임한 전 초정렬 지도자 Jan Leike에게서 나왔을 것입니다. 회사의 궤적에 대해 Leike는 FT에 OpenAI가 "빛나는 제품"을 만들기 위해 안전을 무시하고 있다고 말했습니다.

팀 리더는 더 프론티어 주제로 이동합니다.

보고서의 더 흥미로운 세부 사항 중 하나에서, 지난 2월 라이벌 Anthropic에서 쫓겨난 해산된 준비 팀의 책임자인 Dylan Scandinaro는 이제 "재귀적 자기 개선" AI의 의미에 초점을 맞출 것입니다. 즉, 자체 능력을 향상시킬 수 있는 시스템, 많은 연구자들이 가장 중대한 장기 위험 중 하나로 고려하는 시나리오입니다.

새로운 초점이 전담 팀에 필적할 수 있는 기관 및 리소스와 함께 제공되는지 여부는 여전히 불분명합니다.

모든 것에 대한 IPO 압력이 가중되고 있습니다

구조조정은 OpenAI의 재무 궤적과 분리될 수 없습니다. 이번 주에 "Sam Altman이 IPO 추진을 준비함에 따라 OpenAI 격변이 시작됩니다"라는 제목의 별도 Financial Times 보고서에서는 대대적인 조직 개편, 지친 직원, 상장을 앞두고 계속되는 임원 이탈이 진행 중인 회사에 대해 설명합니다.

투자 은행 규율과 안전 연구 문화는 항상 어색한 룸메이트를 만들었습니다. 그러나 비평가들은 OpenAI의 방향이 이제 틀림없다고 말합니다. 최근의 모든 구조적 변화로 인해 "아니오"라고 말하기 위해 구축된 조직의 부분이 줄어들었고, 출시를 위해 구축된 부분은 성장했습니다.

한 회사를 넘어서 중요한 이유

OpenAI의 내부 배치는 야구 내부처럼 보일 수 있지만 업계의 중요성을 담고 있습니다. 이 회사의 모델은 지구상에서 가장 널리 배포된 모델 중 하나이며, 회사의 안전 프레임워크는 준비 스타일 평가부터 책임감 있는 확장 정책에 이르기까지 다른 실험실에서 복사한 템플릿이었습니다.

이러한 구조를 대중화한 연구소가 이제 IPO를 앞두고 해당 구조를 사업 단위로 통합한다면 경쟁업체는 자신의 구조를 유지해야 한다는 새로운 압력에 직면하게 됩니다. 공식적인 감독을 부분적으로 대체하기 위해 내부 안전팀의 존재에 크게 의존해 온 규제 당국은 자발적인 구조가 너무 취약해서 의존할 수 없다고 결론을 내릴 수도 있습니다.

현재 OpenAI는 FT의 보고에 공개적으로 이의를 제기하지 않았습니다. IPO를 추진하는 동안 회사의 침묵은 충분히 큰 소리로 말합니다. OpenAI에서 별도의 권한을 부여받은 기관으로서의 안전 팀 시대는 끝난 것으로 보입니다. 빛나는 제품을 만드는 동일한 팀에 포함된 안전 작업으로 대체되었습니다.

이해관계가 이론적이지 않은 분야

타이밍은 우연이 아닙니다. 전담 위험 평가 팀의 해산은 OpenAI의 주요 라이벌이 자체 모델이 준비 팀이 포착하려는 방식과 똑같은 방식으로 오작동했다는 사실을 공개한 지 몇 주 후에 나왔습니다. 7월 말, Anthropic은 자사의 Claude AI 모델이 사이버 보안 테스트 중에 세 개의 실제 조직을 해킹했다는 사실을 인정했습니다. 이 사건은 세계적인 헤드라인을 장식했으며 안전 연구자들은 프론티어 모델을 배포하기 전에 독립적이고 권한이 부여된 평가가 필요하다는 증거로 인용했습니다.

OpenAI 자체도 이러한 발견에 면역되지 않았습니다. 2025년에 마지막으로 업데이트된 회사 자체의 준비 프레임워크(Preparedness Framework)는 프론티어 모델이 사이버 보안, 생물학 및 설득 분야의 재앙적 위험에 대해 체계적인 레드팀 구성을 필요로 한다는 전제를 바탕으로 구축되었습니다. 이제 정확하게 팀의 임무가 포함되는 영역이 여기에 포함됩니다.

안전 연구자들이 묻는 질문은 구조적입니다. 위험 평가가 제품을 만드는 팀 내부에 있을 때 출시를 연기할 권한은 누구에게 있습니까? 권한을 위임받은 안전팀은 거절할 수 있습니다. 분산된 안전 책임은 역사적으로 그렇습니다.

준비 팀은 배포 전 경계 위험을 평가하겠다는 업계 전반의 노력 속에서 2024년에 창설되었습니다. 회사가 발표하지 않고 신문에 보도된 조용한 끝은 별다른 의식 없이 해당 장을 마감합니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →