Tel Aviv University와 Stanford University의 연구원들은 인공 지능 시스템이 사람이 작성한 텍스트, 사진 또는 기타 외부 데이터가 포함되지 않은 채 완전히 다른 AI 모델에 의해 생성된 교육 자료를 통해 진정한 학습 기술을 개발할 수 있다고 보고합니다.

과학 사전 인쇄 플랫폼 arXiv에 게시되고 The Media Line이 설명한 연구 결과는 모델이 실제 자료를 접하기 전에 핵심 예측 능력을 구축할 수 있음을 시사합니다. 이는 미래의 AI 시스템이 훈련되는 방식을 바꿀 수 있는 결과입니다. 더 많은 최신 연구 보도를 보려면 AI Buzz Wire 홈페이지를 참조하세요.

자가 훈련 루프의 작동 방식

팀은 두 가지 AI 모델로 구축된 훈련 시스템을 사용하여 개념을 테스트했습니다. 하나는 일련의 기호를 생성하는 임무를 맡았습니다. 다른 하나는 다음에 어떤 기호가 나타날지 예측하려고 시도했습니다. 두 모델 모두 서면 문서, 사진 또는 기타 외부 소스를 참조하지 않았습니다. 커리큘럼의 모든 연습은 시스템 자체 내에서 제작되었습니다.

연습이 진행됨에 따라 생성기는 파트너의 성과를 향상시키는 과제를 만드는 데 점점 더 정교해졌고, 예측기는 이러한 문제를 해결하려고 반복적으로 시도함으로써 더 강력한 능력을 개발했습니다. 이 접근 방식을 통해 AI 시스템은 난이도가 높아지는 연습을 생성하고 해결하는 지속적인 루프를 통해 학습 방법을 효과적으로 개선할 수 있습니다.

지식이 없는 기술

이러한 기술이 인공 훈련 환경을 넘어서 적용될 수 있는지 여부를 결정하기 위해 연구자들은 서면 언어, 이미지, 오디오, 음악, 컴퓨터 코드 및 DNA 시퀀스와 같은 여러 유형의 실제 정보에 대해 결과 모델을 평가했습니다.

실험에서는 추가 컴퓨팅 리소스가 훈련에 할당됨에 따라 예측 정확도가 계속 증가한다는 것을 보여주었습니다. 이는 방법이 확장되고 컴퓨팅 용량이 확장됨에 따라 더욱 효과적일 수 있다는 증거입니다.

결과는 또한 중요한 선을 그립니다. 모델은 패턴을 인식하는 능력을 개발했지만 실제 주제에 대한 사실 정보를 독립적으로 획득하지는 못했습니다. 연구원들은 그러한 종류의 지식을 얻으려면 여전히 실제 데이터에 대한 노출이 필요하다는 것을 발견했습니다. 즉, 자체 생성 학습은 모델에 학습 방법을 가르칠 수 있지만 세상에 포함된 내용은 가르칠 수 없습니다.

연구원들은 그럼에도 불구하고 이 기술이 실제 정보 처리를 시작하기 전에 기본 학습 능력을 강화함으로써 미래의 AI 시스템을 더욱 효율적으로 만들 수 있다고 믿습니다. 잠재적으로 인간이 생성한 자료 프론티어 훈련이 파이프라인 전면에서 요구하는 양을 줄일 수 있습니다.

'학습을 위한 학습'이 중요한 이유

인간 교육에는 유용한 비유가 있습니다. 익숙하지 않은 문제 해결을 연습한 학생은 일반적으로 단순히 암기한 학생보다 고정된 교과서에서 더 많은 것을 추출합니다. 이 판독값에서 텔아비브-스탠포드 설정이 보여주는 것은 해당 분리의 기계 버전입니다. 즉, 실제 코퍼스가 그림에 들어가기 전에 모델이 제조된 연습에서 일반적인 예측 기술을 획득하는 단계입니다.

이 발견은 또한 사전 훈련과 지식이 동일한 것이 아니라는 점을 상기시켜 주며, 실험실에서 합성 데이터를 파이프라인에 혼합함에 따라 이러한 구별이 더욱 중요해졌습니다. 모델이 이미 시퀀스에서 신호를 짜내는 방법을 알고 실제 데이터 단계에 도달할 수 있다면 동일한 코퍼스가 그럴듯하게 더 많은 것을 수행할 수 있지만 이는 향후 작업에서 테스트할 때까지 가설로 남아 있습니다.

모든 사전 인쇄와 마찬가지로 결과는 더 넓은 연구 커뮤니티의 복제 및 조사를 기다리고 있으며 평가에서는 상업용 챗봇을 정의하는 개방형 세대가 아닌 예측 작업을 다루었습니다.

데이터에 굶주린 업계의 주목

결과는 훈련 데이터에 대한 활발한 논쟁의 한가운데에 있습니다. 접근 가능한 고품질 인간 텍스트 풀이 많이 채굴되었으며, 오픈 웹의 공급이 부족할 때 모델을 지속적으로 개선하는 방법으로 라이센스 거래, 합성 데이터 및 셀프 플레이 방법이 모두 떠 올랐습니다. 유용한 학습 기술이 순수하게 기계로 생성된 연습에서 나타날 수 있다는 시연은 해당 주장에 구체적인 데이터 포인트를 추가합니다.

연구자 자신의 경고는 주장의 경계를 표시합니다. 세계 지식에는 여전히 실제 데이터가 필요합니다. 이 증거에 따르면 자가 훈련은 모델의 학습 능력을 향상시키는 방법이지 실제 세계에서 나오는 실제 정보를 대체하는 방법이 아닙니다.

이스라엘, AI에 기대다

이번 발표는 이스라엘이 인공 지능 분야에서 입지를 강화하기 위해 노력하는 가운데 나온 것입니다. 11월 3일, 아이작 헤르조그(Isaac Herzog) 대통령은 AI가 고용, 경제 안보 및 사회에 미치는 영향을 조사하기 위해 국무총리실 산하 국가 AI 부서(National AI Directorate) 및 모자이크 AI 정책 연구소(Mosaic Institute for AI Policy)와 함께 설립된 "Beyond Intelligence" 포럼의 첫 번째 세션을 소집했습니다.

The Media Line에 따르면 Herzog는 세션에서 "이스라엘은 인공 지능의 최전선에서 자리를 잡아야 한다"고 촉구했습니다. "이 기차는 우리를 기다리지 않을 것이며 온 세상이 우리의 길을 찾고 있습니다."

현재로서는 텔아비브-스탠포드 결과가 연구 칼럼에 정확히 게재되어 있습니다. 즉, 제품이 아닌 교육 원리를 설명하는 현장 조사를 기다리는 사전 인쇄입니다. 그러나 자체 생성 커리큘럼이 데이터 파이프라인의 일부를 의미 있게 대체할 수 있다면 업계에서 가장 논란이 많은 입력인 인간이 생성한 데이터는 가장 부족한 입력인 컴퓨팅보다 덜 중요할 수 있습니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →