特拉维夫大学和斯坦福大学的研究人员报告称，人工智能系统可以通过完全由其他人工智能模型生成的训练材料来开发真正的学习技能，而无需人工编写的文本、照片或任何其他外部数据。
研究结果发表在科学预印本平台 arXiv 上，并由 The Media Line 描述，表明模型可以在遇到现实世界材料之前建立其核心预测能力，这一结果可能会改变未来人工智能系统的训练方式。有关更多突破性研究报道，请参阅 AI Buzz Wire 主页。
自训练循环如何工作
该团队使用由两个人工智能模型构建的训练系统测试了这一概念。其中一个的任务是生成符号序列；另一个的任务是生成符号序列。另一个试图预测接下来会出现哪个符号。这两个模型都没有参考书面文件、照片或任何其他外部来源——课程中的每个练习都是在系统内部生成的。
随着练习的进行，生成器在创造挑战以提高其合作伙伴的表现方面变得越来越复杂，而预测器则通过反复尝试解决这些问题而发展出更强的能力。该方法有效地允许人工智能系统通过生成和解决难度不断增加的练习的连续循环来提高其学习能力。
没有知识的技能
为了确定这些技能是否可以应用于人工训练环境之外，研究人员根据几种类型的真实信息评估了生成的模型：书面语言、图像、音频、音乐、计算机代码和 DNA 序列。
实验表明，随着额外的计算资源被分配给训练，预测准确性不断提高——证据表明该方法可以扩展，并且随着计算能力的扩展可能变得更加有效。
结果也划出了一条重要的界限。这些模型发展了识别模式的能力，但它们并没有独立获取有关现实世界主题的事实信息；研究人员发现，这种知识仍然需要接触实际数据。换句话说，自生成训练可以教会模型如何学习，但不能教会模型学习世界包含的内容。
研究人员认为，该技术可以通过在开始处理现实世界信息之前增强其基础学习能力，使未来的人工智能系统更加高效，从而可能减少在管道前端运行的人类生成的材料前沿训练所需的量。
为什么“学会学习”很重要
人类教育中有一个有用的类比：练习解决不熟悉问题的学生通常比仅仅死记硬背的学生从固定教科书中学到的东西更多。在本次阅读中，特拉维夫-斯坦福的设置所展示的是这种分离的机器版本——在任何真正的语料库进入图片之前，模型从制造的练习中获得一般预测技能的阶段。
这一发现还提醒人们，预训练和知识不是同一回事，随着实验室将合成数据混合到其管道中，这种区别变得更加重要。如果一个模型能够到达真实数据阶段，并且已经知道如何从序列中提取信号，那么同一个语料库可能会进一步发展——尽管这仍然是一个假设，直到未来的工作对其进行测试。
与任何预印本一样，结果有待更广泛的研究界的复制和审查，评估涵盖预测任务，而不是定义商业聊天机器人的开放式一代。
数据渴求的行业注意到了
这一结果引起了关于训练数据的激烈争论。可访问的高质量人类文本库已被大量挖掘，许可协议、合成数据和自我对弈方法都已被提出，作为在开放网络供应不足时不断改进模型的方法。有用的学习技能可以从纯粹的机器生成的练习中产生的演示为这一论点添加了具体的数据点。
研究人员自己的警告标志着这一主张的界限：世界知识仍然需要真实数据。从这个证据来看，自我训练是一种让模型更好地学习的方法，而不是取代来自现实世界的基本事实的方法。
以色列倾向于人工智能
这一消息发布之际，以色列正在努力加强其在人工智能领域的地位。 11月3日，总统艾萨克·赫尔佐格召集了由总理办公室国家人工智能理事会和马赛克人工智能政策研究所共同设立的“超越智能”论坛首届会议，探讨人工智能对就业、经济安全和社会的影响。
据媒体报道，赫尔佐格在会议上敦促说：“以色列必须走在人工智能的最前沿。” “这列火车不会等我们，全世界都在看着我们。”
目前，特拉维夫-斯坦福大学的研究结果正处于研究专栏中：等待该领域审查的预印本，描述的是培训原则而不是产品。但是，如果自行生成的课程可以有意义地替代部分数据管道，那么该行业最具争议的输入（人类创建的数据）可能比最稀缺的输入（计算）更重要。
---
保持人工智能领先地位获取最新的人工智能新闻、分析和突破——尽在一个地方。
阅读更多人工智能新闻 →
