这篇论文提出了什么?
Yuntian Deng、Yejin Choi 和 Stuart Shieber 在 2024 年提出逐步内化,继续研究 2023 年提出的 Implicit CoT。它通过逐渐缩短训练中的解题过程来实现推理内化(Internalized reasoning),无需另设隐藏状态模拟器。
如何实现
先训练模型输出完整步骤与答案,再从步骤开头逐渐移除 token,并继续微调,直到模型直接生成答案。训练用移除平滑和优化器状态重置来处理阶段切换;保留部分步骤也能在速度与准确率之间作出取舍。
实验结果
论文在多位数乘法和 GSM8K 数学应用题上评测该方法。GPT-2 Small 在两个九位数相乘的任务上达到 99% 准确率;Mistral-7B 不输出中间步骤时在 GSM8K 上达到 51%,显式思维链为 68%。
2024 年原文:第 2 节(与 2023 年工作的关系) · 第 3 节(逐步内化) · 第 5 节(结果) · 第 6 节(速度与准确率取舍)
相关背景:2023 年提出的 Implicit CoT及其知识蒸馏实现。