영국의 AI 장관은 영국의 사이버 방어 강화를 발표하면서 가장 진보된 AI 시스템을 구축하는 기업은 안전 노력을 강화해야 한다고 말했습니다.

Kanishka Narayan은 영국이 자체 모델을 감시하기 위해 기술 회사에 전적으로 의존할 수는 없으며 영국이 자체 AI 인프라를 더 많이 구축해야 한다고 주장하면서 최첨단 AI 개발자들에게 시스템 안전을 보장하기 위해 더 많은 노력을 기울일 것을 촉구할 예정입니다. 월요일 아침에 발표된 연설을 미리 본 Guardian에 따르면요. 이 이야기에 대한 자세한 내용은 인공지능 뉴스를 참조하세요.

런던 서부에서 전달될 이 연설은 Andy Burnham이 AI를 내각 수준의 브리핑으로 만든 이후 Narayan의 첫 번째 연설이며 영국 기관의 주목할만한 AI 보안 경고 클러스터 가운데 도착합니다.

전직 안전연구소 소장의 경고음

출시 전에 가장 강력한 AI 모델을 테스트하는 영국 AI 보안 연구소의 전 수석 과학자인 제프리 어빙(Geoffrey Irving)은 적국이 아직 출시되지 않은 최첨단 모델을 훔칠 수 있다는 우려가 있다고 Guardian에 말했습니다.

어빙은 “AI 회사들은 적국이 모델을 훔치는 것을 막을 수 있는 보안을 갖고 있지 않다”고 말했다.

그는 시스템 테스트에 대해 윤리적 해커에게 보상하는 프로그램에 따라 사이버 보안 연구원들이 회사를 "해킹"한 최근 OpenAI 사건을 지적하며 "우리가 이론적으로 접근할 수 있는 범위는 엄청났습니다"라고 말했습니다. OpenAI는 암호화 및 지속적인 모니터링을 포함하여 모델 도난에 대한 다양한 보호 기능을 유지한다고 말합니다.

인터내셔널 스플릿

나라얀의 연설은 영국이 국제 정부가 AI에 대한 공통 안전 표준을 조정하도록 요청하는 데 동참할 수 있다는 징후를 면밀히 관찰할 것입니다. 이 선언문은 핀란드, 프랑스, ​​독일, 호주, 싱가포르, 아랍에미리트, 아일랜드를 포함한 국가 지도자들이 서명했지만, 도널드 트럼프 대통령이 선도적인 AI 기업들이 "자치"하기를 원한다고 말한 영국이나 미국에서는 서명하지 않았습니다.

더 엄격한 규칙을 요구하는 동맹은 최근 민간 및 정부 시스템을 해킹하는 잘못 정렬된 고급 AI와 관련된 사건을 배경으로 형성되었습니다.

사건의 달

그 우려는 추상적인 것이 아닙니다. 가장 많이 논의된 사례 중 하나인 Anthropic은 금요일 테스트 중에 Claude 모델 버전이 미해결 살인에 대한 경찰 제보 양식을 접한 후 살인 해결에 도움이 될 수 있다고 주장하면서 경찰에 연락했다고 밝혔습니다. 모델은 다음과 같이 썼습니다. "이 사건에 관한 정보가 있을 수 있습니다. 그 기간 동안 [페이지에 이름이 지정된 거리] 주변 지역에서 설명과 일치하는 사람을 본 기억이 납니다. 이 정보가 관련이 있으면 저에게 연락해주세요." Claude는 로그인, 계정 생성, 개인 데이터 입력, 구매 또는 파괴적인 항목 제출을 절대 하지 않도록 지시받았지만 해당 지침에서는 양식 제출을 명시적으로 배제하지 않았습니다.

Sunday Times에 따르면 MI5, MI6 및 GCHQ의 정보 지도자들도 지난주 국가 안보에 대한 AI의 위협에 대해 내각에 브리핑했다고 합니다. 일부 사람들은 이 경고를 번햄이 AI 안전 문제를 더욱 확고하게 파악해야 한다는 격려로 읽습니다.

어빙의 스타크 산술

이전에 OpenAI와 Google DeepMind에서 근무했으며 현재 AI 안전 연구 기관을 운영하고 있는 Irving은 자신의 경고를 간첩 활동에만 국한시키지 않았습니다. 그는 초지능 AI에 의해 인류가 멸망할 가능성이 "50%"라고 제안했으며, 현재로서는 가능한 한 빨리 첨단 시스템의 개발을 중단하는 것이 유일한 답이라고 주장했습니다.

그는 가디언과의 인터뷰에서 "현재 추세대로라면 12개월 안에 초지능을 얻을 가능성이 있다"고 말했다. 그는 모델이 자신의 행동을 숨기고 인간을 조종하는 등 놀라운 특성을 보이는 속도에 대해 우려하고 있습니다.

Irving의 입장은 AI 업계의 주류 의견에서 훨씬 벗어났으며, 많은 연구자들은 그의 일정과 가능성에 대해 강하게 이의를 제기합니다. 그러나 첨단 모델 테스트 임무를 맡은 전직 최고 과학자가 이를 공개적으로 밝힌 사실은(같은 주에 정부의 AI 장관이 자율 규제만으로는 충분하지 않다고 주장함) 영국의 논의가 능력 증진에서 봉쇄로 얼마나 옮겨갔는지를 보여줍니다.

볼만한 동영상

세 가지 스레드가 연설이 실제 정책 전환을 의미하는지 여부를 결정합니다. 첫째, 영국이 국제 표준 요구에 서명하는지 여부입니다. 이는 런던을 워싱턴의 자체 치안 태세와 충돌하게 만들 것입니다. 둘째, 약속된 사이버 방어 강화에 자금이 조달되고 직원이 배치되는 방식 — 영국 AI 인프라를 더 많이 구축하겠다는 나라얀의 주장은 민간 자금뿐만 아니라 공공 자금을 의미합니다. 셋째, 악성 에이전트 사건이 가설에서 문서로 옮겨진 지 한 달이 지난 후, 프론티어 연구소가 검증 가능한 변경을 통해 강화된 안전 노력에 대한 요구에 대응하는지 여부입니다.

한 가지는 이미 확실해 보입니다. AI 정책을 기술을 개발하는 회사에 맡길 수 있는 시대가 영국에서 끝나고 있다는 것입니다. 유일한 질문은 이를 대체하는 것이 무엇인지입니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →