MetaMath：新数学推理语言模型训练大模型的逆

2024-02-24 19:59:52 | 作者：b体育

　　复杂数学推理是评价大语言模型推理能力的重要指标，目前常用的数学推理数据集样本量有限且问题多样性不足，导致大语言模型存在 [逆转诅咒] 的现象，即一个训练于「A 是 B」的语言模型无法推广到「B 是 A」[1]。此现象在数学推理任务中的具体形式是：即给定一个数学问题，语言模型擅于用正向推理解答问题但缺乏逆向推理解决问题的能力。逆向推理在数学问题中十分常见，如下 2 个例子。

　　逆向推理：有若干只鸡兔同在一个笼子里，从上面数，有 35 个头，从下面数，有 94 只脚。问笼中各有多少只鸡和兔？

　　为了提升模型的正向和逆向推理能力，剑桥、港科大、华为的研究者基于两个常用的数学数据集（GSM8K 和 MATH）提出了 MetaMathQA 数据集：一个覆盖面广、质量高的数学推理数据集。MetaMathQA 由 395K 个大语言模型生成的正向逆向数学问答对组成。他们在 MetaMathQA 数据集上基于 LLaMA-2 微调得到专注于数学推理 (正向和逆向) 的大语言模型 MetaMath，在数学推理数据集上达到了 SOTA。MetaMathQA 数据集和不同规模的 MetaMath 模型已开源供研究人员使用。

　　本文中构造了一个逆向推理数据集 GSM8K-Backward。实验结果表明，目前的方法（e.g., SFT、RFT、WizardMath）在逆向推理问题中表现远差于正向推理。相较而言，MetaMath 模型在正向和反向推理上都取得了优越的性能。

　　1. Answer Augmentation (答案增强)：给定问题，通过大语言模型生成能得到正确结果的思维链作为数据增广。

　　2. Rephrasing Question (问题改写增强)：给定元问题，通过大语言模型重写问题并生成得到正确结果的思维链作为数据增广。

　　根据 Superficial Alignment Hypothesis [2]，大语言模型的能力源于预训练，而来自下游任务的数据则激活了预训练期间学习到的语言模型的固有能力。由此产生了两个重要问题：（i）什么类型的数据可以最有效地激活潜在知识，以及（ii）为什么一个数据集在这种激活中比另一个数据集更好？

　　如上图所示，研究者们计算了 LLaMA-2-7B 模型在仅答案数据、GSM8K CoT 以及 MetaMathQA 数据的各部分上的 perplexity。MetaMathQA 各部分的 perplexity 显著低于其他两个数据集，这突显了它固有的易学性，可能更有助于引导出模型的潜在知识。

　　通过比较数据的多样性增益和模型的准确率增益，他们发现 Rephrasing、FOBAR 和 SV 添加相同数量的增广数据带来了明显的多样性增益，显著提升了模型准确率。相比之下，简单地使用答案增强会导致明显的准确率饱和。在准确率饱和之后，增加 AnsAug 数据只会带来有限的性能提升。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。