跳转到正文

From Explicit CoT to Implicit CoT: Learning to Internalize CoT Step by Step

Yuntian Deng, Yejin Choi, Stuart Shieber

论文提出逐步内化(Stepwise Internalization),用来学习隐式思维链(Implicit Chain-of-Thought,简称 Implicit CoT)。从显式思维链模型开始,在微调中逐渐移除中间步骤,让模型学会在内部完成这些计算。

首次公开: · arXiv

这篇论文提出了什么?

Yuntian Deng、Yejin Choi 和 Stuart Shieber 在 2024 年提出逐步内化,继续研究 2023 年提出的 Implicit CoT。它通过逐渐缩短训练中的解题过程来实现推理内化(Internalized reasoning),无需另设隐藏状态模拟器。

如何实现

先训练模型输出完整步骤与答案,再从步骤开头逐渐移除 token,并继续微调,直到模型直接生成答案。训练用移除平滑和优化器状态重置来处理阶段切换;保留部分步骤也能在速度与准确率之间作出取舍。

实验结果

论文在多位数乘法和 GSM8K 数学应用题上评测该方法。GPT-2 Small 在两个九位数相乘的任务上达到 99% 准确率;Mistral-7B 不输出中间步骤时在 GSM8K 上达到 51%,显式思维链为 68%。

2024 年原文:第 2 节(与 2023 年工作的关系) · 第 3 节(逐步内化) · 第 5 节(结果) · 第 6 节(速度与准确率取舍)

相关背景:2023 年提出的 Implicit CoT及其知识蒸馏实现。

试用模型

这两个演示使用逐步内化:多位数乘法 · 数学应用题。演示页面提供各自的模型与使用说明。

引用论文

arXiv 预印本

Yuntian Deng, Yejin Choi, Stuart Shieber. From Explicit CoT to Implicit CoT: Learning to Internalize CoT Step by Step. 2024. arXiv:2405.14838.

BibTeX · CSL-JSON · JSON 记录 · English

返回中文导读 · 推理内化(Internalized reasoning)相关论文