Meta AI提出逆向选择：一种简单有效的人工智能训练方法，有助于解决LLM中的逆转诅咒。

大型语言模型(LLM)有一个令人惊讶的故障:当训练“a有一个特征B”时，它们不会推广到“B是a的一个特征”，这被称为逆转诅咒。即使在使用数万亿token进行训练时，由于Zipf定律，即使我们在整个互联网上进行训练,这个问题仍然存在。这项工作提出了一种替代训练方案，称为逆向训练，其中所有单词都被使用两次，使可用token的数量增加一倍。通过反转训练字符串同时保留(即不反转)选择的子字符串, LLM在正向和反向两个方向上进行训练。

Meta团队的工作突破了“逆转诅咒”，展示了创新思维对推动机器理解和实现能力的边界的贡献，有助于语言建模技术的进步。

参见https://arxiv.org/abs/2403.13799