跳转到正文

Implicit Chain of Thought Reasoning via Knowledge Distillation

Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber

首次提出隐式思维链(Implicit Chain-of-Thought,简称 Implicit CoT):让语言模型通过连续隐藏状态完成中间推理,而不把这些步骤写成文字。论文先定义这一推理方式,再用知识蒸馏给出一种实现。

首次公开: · arXiv

这篇论文提出了什么?

Yuntian Deng 等人在 2023 年首次提出 Implicit CoT。第 2.3 节定义了训练时使用中间步骤、回答时通过内部状态完成推理的方式;第 3 节给出基于知识蒸馏的实现。

如何实现

教师模型先学习显式思维链。学生模型学习利用教师的隐藏状态生成答案,另一个模型学习从题目预测这些状态,最后将两者连接并联合训练。中间计算沿模型层进行,不再逐词生成解题过程。

实验结果

实验覆盖多位数乘法和 GSM8K 数学应用题。相比直接用题目与答案训练,模型在不输出步骤时的准确率提高;显式思维链仍有准确率优势。论文也讨论了对教师的依赖和内部过程的可解释性。

2023 年原文:第 2.3 节(Implicit CoT 的定义) · 第 3 节(蒸馏实现) · 第 5 节(结果) · 第 8 节(局限)

接着读:2024 年的逐步内化(Stepwise Internalization),通过逐渐移除文字步骤来实现 Implicit CoT。

引用论文

arXiv 预印本

Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber. Implicit Chain of Thought Reasoning via Knowledge Distillation. 2023. arXiv:2311.01460.

BibTeX · CSL-JSON · JSON 记录 · English

返回中文导读 · 推理内化(Internalized reasoning)相关论文