テルアビブ大学とスタンフォード大学の研究者らは、人工知能システムは、人間が書いたテキスト、写真、その他の外部データを一切含まず、他の AI モデルによって完全に生成されたトレーニング資料を通じて、真の学習スキルを開発できると報告しています。

科学プレプリント プラットフォーム arXiv で公開され、The Media Line によって説明されたこの研究結果は、モデルが現実世界のマテリアルに遭遇する前にその中核となる予測能力を構築できることを示唆しています。その結果は、将来の AI システムのトレーニング方法を変える可能性があります。さらに最新の研究報道については、AI Buzz Wire のホームページをご覧ください。

自己トレーニング ループの仕組み

チームは、2 つの AI モデルから構築されたトレーニング システムを使用してコンセプトをテストしました。 1 つはシンボルのシーケンスを生成するという任務を負っていました。もう 1 つは、どのシンボルが次に現れるかを予測しようとしました。どちらのモデルも文書、写真、その他の外部ソースを参照していません。カリキュラム内のすべての演習はシステム自体の内部で作成されました。

演習が進むにつれて、ジェネレーターはパートナーのパフォーマンスを向上させる課題を作成する点でますます洗練され、一方、予測者はそれらの問題の解決を繰り返し試行することでより強力な能力を開発しました。このアプローチにより、AI システムは、難易度が上昇する演習の生成と解決の継続的なループを通じて学習方法を効果的に強化できます。

知識のないスキル

これらのスキルが人工的なトレーニング環境を超えて適用できるかどうかを判断するために、研究者らは、書き言葉、画像、音声、音楽、コンピューターコード、DNA配列などのいくつかの種類の実際の情報に対して、結果として得られたモデルを評価しました。

実験では、追加のコンピューティング リソースがトレーニングに割り当てられるにつれて予測精度が向上し続けることが実証されました。これは、この方法が拡張可能であり、計算能力が拡大するにつれてより効果的になる可能性があることの証拠です。

結果も重要な一線を画している。モデルはパターンを認識する能力を発達させましたが、現実世界の主題に関する事実情報を独自に取得したわけではありません。研究者らは、その種の知識を得るには依然として実際のデータに触れる必要があることを発見した。言い換えれば、自己生成トレーニングはモデルに学習方法を教えることはできますが、世界に含まれるものは教えられません。

それでも研究者らは、この技術により、現実世界の情報の処理を開始する前に基礎的な学習能力を強化することで、将来の AI システムをより効率的にできる可能性があり、パイプラインの先頭で人間が生成するフロンティア トレーニングの実行に必要なマテリアルの量を削減できる可能性があると考えています。

なぜ「学び方を学ぶ」ことが重要なのか

人間の教育からの有益な類似点があります。馴染みのない問題を解く練習をした生徒は、一般に、決まった教科書を単に暗記した生徒よりも、その教科書からより多くのことを引き出します。この読みに基づいて、テルアビブとスタンフォードのセットアップが示しているのは、その分離の機械バージョンです。これは、実際のコーパスが登場する前に、モデルが作られた演習から一般的な予測スキルを獲得する段階です。

この発見は、事前トレーニングと知識が同じものではないことを思い出させるものでもあり、ラボが合成データをパイプラインに混合するにつれて、この区別はより重要になっています。シーケンスから信号を絞り出す方法をすでに知っているモデルが実際のデータの段階に到達できれば、同じコーパスがさらに進化する可能性がありますが、それは今後の作業でテストされるまで仮説のままです。

他のプレプリントと同様に、結果はより広範な研究コミュニティからの再現と精査を待っており、評価では商用チャットボットを定義するオープンエンドの世代ではなく、予測タスクが対象となっています。

データを大量に消費する業界が注目

その結果は、トレーニング データに関する活発な議論の真っ只中にありました。アクセス可能な高品質の人間によるテキストのプールは大量にマイニングされており、オープン ウェブの供給が不足しているときにモデルを改善し続ける方法として、ライセンス契約、合成データ、セルフプレイ方法がすべて浮上しています。純粋に機械によって生成された演習から有用な学習スキルが得られるという実証は、その議論に具体的なデータポイントを追加します。

研究者自身の警告は、世界の知識には依然として実際のデータが必要であるという主張の境界を示しています。この証拠に基づくと、自己トレーニングはモデルの学習能力を向上させる方法であり、現実世界から得られるグラウンド トゥルースを置き換える方法ではありません。

イスラエルは AI に傾倒

この発表は、イスラエルが人工知能における地位の強化に取り組んでいる中で行われた。 11月3日、アイザック・ヘルツォーク大統領は、雇用、経済安全保障、社会に対するAIの影響を調査するために、首相官邸の国家AI総局およびモザイクAI政策研究所と設立された「Beyond Intelligence」フォーラムの第1回会合を招集した。

メディアラインによると、ヘルツォーク氏はセッションで「イスラエルは人工知能の最前線に立つ必要がある」と訴えた。 「この列車は私たちを待ってくれません、そして全世界が私たちの方を向いています。」

今のところ、テルアビブ対スタンフォードの結果は研究欄に堂々と掲載されている。つまり、製品ではなくトレーニングの原則を説明した、現場の精査を待っているプレプリントである。しかし、自己生成のカリキュラムがデータ パイプラインの一部を意味のある形で代替できるのであれば、業界で最も争点となっているインプット、つまり人間が作成したデータの重要性は、最も希少なものであるコンピューティングよりもいくらか小さくなるかもしれません。

---

Stay Ahead of AI

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→