#头条讲真的#

人工智能研究实验室 Tinkoff Research 的科学家们创造了同行中最有效的人工智能训练和适应算法。这种名为 ReBRAC 的新方法比强化学习领域的世界同类方法训练 AI 的速度快四倍，效果提高 40%。

如今，世界上存在着一场人工智能系统竞赛，近年来的知名新闻故事定期推动人工智能系统的竞赛，例如，关于使用神经网络诊断严重疾病或其商业应用（ChatGPT 和喜欢）。然而，整个竞赛面临着严重的限制：人工智能的硬件要求非常高，主要是显卡。这里不可或缺的芯片龙头制造商台湾台积电无法应对市场需求，而其竞争对手在产量方面做得更差。

在这方面，俄罗斯科学家在提高人工智能训练算法效率领域的发展有助于缩小世界各国之间的技术和数字差距：更高效的算法需要更少的计算资源。计算能力有限的国家将能够创建和开发先进技术，使人工智能适应特定的应用任务，从而大大节省昂贵的实验费用。

研究人员在机器学习和神经计算国际会议NeurIPS（神经信息处理系统会议和研讨会）上展示了他们的最新工作成果。它于 2023 年 12 月 10 日至 16 日在新奥尔良（美国）举行。ReBRAC（Revisited Behaviour Regularized Actor Critic）算法之前在相应作品的预印本中进行了描述。

替代方法和 ReBRAC 算法质量的可视化。横轴是算法相对于“专家”的质量（作为训练AI代理的标准），其中100是专家水平。纵轴是超过所选质量截止值的试验的百分比。线越高越好。Tinkoff Research 提出的方法是第一个在超过一半的测试中超越专家的方法 。

典型的人工智能代理有两个组成部分：一个“演员”，一个生成程序输出的演员，和一个“批评家”，在一定范围内评估演员的行为。根据这些评估，演员会随着时间的推移改变他的行为。

在新作品中，科学家们使用了这两个组件的联合正则化，以便演员避免不必要的行为，而评论家则可以更准确地评估它们。这两种改进以前都曾单独尝试过，但到目前为止还不可能以最大效率结合这两种方法。

此外，新算法的作者增加了人工智能中使用的神经网络的深度，这使得它更容易处理数据并搜索其中的复杂模式。他们还通过改变培训模型以考虑短期和长期目标来提高规划范围的效率。为了稳定学习结果（它们经常会出现不可预测的波动，有时甚至取决于一年中的时间），研究人员使用了神经网络各层的归一化（LayerNorm）

将所有这些决策集成到 BRAC 2019 年的前身算法中后，研究人员随后依次改变系统每个新组件的参数。结果，他们设法找到了修改的平衡点，使这种已有四年历史的方法（以 ReBRAC 的形式）能够在当今已知的所有类似方法中显示出最高的性能。