Microsoft AI가 연구보다 확장을 선호함에 따라 Microsoft Research의 AI Frontiers 그룹은 끝났다고 창립자는 썼습니다.

AI Frontiers 창립자인 John Langford는 Microsoft가 50명으로 구성된 연구 부서를 Microsoft AI로 전환했다고 말했습니다. Microsoft AI는 전 변곡점 리더들이 연구보다 확장을 선호합니다.

AutoGen 에이전트 오케스트레이션 프레임워크와 Fara 컴퓨터 사용 에이전트를 뒷받침하는 약 50명으로 구성된 Microsoft Research의 AI Frontiers 그룹은 2023년 MSR 내부에서 그룹을 조직한 기계 학습 연구원 John Langford가 이번 주에 공개한 솔직한 1인칭 계정에 따르면 종료되었습니다. Langford는 팀이 9월 초에 Microsoft AI에 흡수되었으며 실제로 재구성으로 인해 연구 의제가 더 이상 자리를 잡지 못했다고 썼습니다. 이 게시물은 매우 충격적이었습니다. 이 게시물은 몇 시간 만에 300포인트가 넘는 점수로 Hacker News 1위를 차지했으며 업계가 연구에서 확장으로 전환하는 과정이 주요 연구실 내에서 어떻게 진행되고 있는지에 대한 가장 자세한 내부 설명 중 하나를 제공합니다. 우리는 AI 비즈니스 뉴스 보도에서 그 결과를 추적하고 있습니다.

AI Frontier가 구축한 것

Langford는 ChatGPT가 출시된 지 몇 달 후, Microsoft 내부의 의미 있는 AI 연구에는 MSR의 기존 모델보다 더 많은 구조가 필요하다고 결론을 내린 후 그룹의 기원을 추적합니다. "다른 연구 그룹이 적용하는 지원과 집중의 양은 너무 커서 한 사람이 추구하는 영리한 아이디어라도 늦게 도착하고 설득력이 없을 가능성이 높습니다." 그는 개인 연구원이 아이디어를 추구할 가치가 있음을 증명할 만큼 강력한 기준선을 모을 수 없다고 설명합니다.

그래서 Langford와 같은 생각을 가진 동료들은 AI Frontiers를 약 50명으로 구성된 하위 조직으로 조직했으며, 의도적으로 하향식도 상향식도 아닌 "어수선한 중간" 구조로 구성했습니다. 그룹의 가장 눈에 띄는 결과물이 적용되었습니다. 여러 AI 에이전트를 조정하기 위해 널리 사용되는 Microsoft의 오픈 소스 프레임워크인 AutoGen과 컴퓨터 사용 에이전트인 Fara입니다. Langford의 말에 따르면 "AIF의 작업 중 대부분은 에이전트를 작동시키는 방법을 알아내는 것이었습니다."

덜 눈에 띄는 것은 그룹의 기본 연구였습니다. 뉴욕 대표단은 Langford가 설명하는 새로운 핵심 기능, 즉 모델을 추정할 수 있는 "Next Latent" 목표, Muon을 개선하는 Dion3이라는 최적화 프로그램, 재귀를 통해 모델을 훨씬 더 강력하게 만들기 위해 설계된 "Full Bandwidth Transformer"를 추구했습니다.

또한 이 그룹은 나머지 Microsoft Research와 인프라를 공유하여 모든 MSR 연구원에게 단일 저장소를 공개하려고 했습니다. 해당 저장소에는 지난달 COLM 컨퍼런스에서 발표된 엣지 규모의 사전 훈련 코드베이스가 포함되어 있습니다. Langford는 이 세부 사항을 사소하다고 부르지만 작업 중인 모델 훈련 파이프라인을 구축하는 데 얼마나 많은 노력이 필요한지 강조하기 위해 사용하며 다른 세 팀이 공유 기반 없이 동일한 작업을 시도하고 있다고 언급했습니다.

9월 개편

9월 초, Microsoft는 AI Frontier를 회사의 소비자 및 기업 AI 노력을 수용하는 훨씬 더 큰 제품 부서인 Microsoft AI로 접었습니다. 서류상으로 Langford는 이러한 움직임이 타당하다고 인정합니다. 두 AI 조직을 결합하면 노력이 집중되고 각 조직에는 서로 부족한 강점이 있습니다.

실제로 그는 합병이 철학에 기초를 두었다고 썼습니다. Langford는 Microsoft AI의 전 Inflection 리더십에 대해 "핵심 철학은 확장이지 공격적인 연구는 아닙니다"라고 말합니다. 이는 현재 Inflection AI의 리더십 하에 부서의 방향을 형성하고 있는 스타트업 Inflection AI에서 Microsoft에 합류한 팀을 가리키는 것입니다. 결과적인 경제학에 대한 그의 틀은 무뚝뚝합니다. 더 큰 모델은 더 나은 예측을 생성하고 "규모에 대한 수익은 연구에 대한 수익보다 훨씬 더 예측 가능합니다." 따라서 확장 우선 조직은 새로운 방법보다는 데이터를 획득하고 정제하는 데 집중합니다.

그는 그 초점이 AI Frontiers가 수행하고 있던 근본적인 작업에서 "상당히 한 발짝 떨어져 있다"고 주장하며, 철학적 불일치를 넘어서 환영이 기껏해야 미지근하다고 말했습니다. Langford는 "그들이 실제로 우리를 원하지 않았다는 증거가 많이 있었습니다"라고 Langford는 썼습니다. 상황은 "자신이 처하기 힘든 상황"이라고 말했습니다. 그는 균형 조정에 대한 자신의 견해를 아끼지 않고 확장 전용 접근 방식이 잘못된 방향이라고 설명하지만 전체 주장은 그가 게시물에서 명시적으로 제시한 요점을 넘어 확장됩니다.

연구와 확장, Microsoft를 넘어서

이 에세이는 개척 연구실이 제품 타임라인과 함께 진정한 연구 조직을 유지할 수 있는지에 대한 업계의 광범위한 논쟁 중에 있습니다. 제품 중심의 리더십 하에 AI 연구를 통합하는 데 있어 Microsoft만이 유일한 것은 아니지만 Langford의 설명은 메커니즘에 대해 유난히 구체적입니다. 즉, 기업 재편성 후에 위임도 없고 환영도 받지 않으며 인프라 기여가 조용히 흡수되는 소규모의 생산적인 그룹입니다.

이 게시물에 수백 개의 댓글이 달린 Hacker News에 대한 토론은 주로 이러한 긴장감에 중점을 두었습니다. 이러한 부검이 기업 AI 연구의 불가피한 성숙을 설명하는지 아니면 실험실이 예측 가능한 확장 이득을 위해 지속 가능한 방법론적 이점을 교환하는 전략적 오류인지 여부입니다. 또한 논평자들은 AI Frontiers의 대표 프로젝트 중 하나인 AutoGen이 현재 엔터프라이즈 AI 로드맵을 지배하고 있는 에이전트-오케스트레이션 범주를 정의하는 데 도움을 주었다는 아이러니함을 지적했습니다.

Microsoft의 경우 이 에피소드는 실질적인 의미를 지닌 평판 각주입니다. 회사는 Microsoft AI의 출시 흐름에 AI 전략을 걸었고 Langford는 합병된 조직이 더 나쁜 제품을 만들 것이라고 주장하지 않습니다. 그의 관심은 더 좁고 더 날카롭습니다. 새로운 아이디어를 위한 파이프라인(사람, 인프라, 입증되지 않은 접근 방식에 대한 허용)은 확장 우선 부서가 필요할 때까지 가장 적게 사용하는 것입니다.

Langford의 게시물이나 그가 설명하는 조직 개편은 오늘날 사용자가 보는 것과 다르지 않지만 Microsoft가 현재 AI 베팅을 정렬하는 방법을 명확히 합니다. 규모로 전환할 수 있는 연구가 진행 중입니다. 규모의 의미를 바꿀 수 있는 연구는 기껏해야 보호 관찰 단계에 있습니다. Langford가 게시물 제목에 말했듯이 이것이 AI Frontiers의 끝이자 기업 AI 연구가 무엇을 위한 것인지에 대한 논쟁의 데이터 포인트입니다.