什么是隐式思维链（Implicit CoT）？
显式思维链（Explicit CoT）先写出中间步骤，再给出答案。隐式思维链（Implicit Chain-of-Thought，简称 Implicit CoT）研究如何让语言模型在内部完成这些计算，不必把每一步转换成文字。潜在推理（latent reasoning）、潜空间推理和 latent CoT 是相关文献常用的名称。
Yuntian Deng 等人在 2023 年首次提出 Implicit CoT，通过连续隐藏状态完成中间推理，并在同一篇论文中用知识蒸馏实现这一思路。2024 年的逐步内化（Stepwise Internalization）则通过逐渐移除训练中的文字步骤来学习内部推理。
一个例子
三张票，每张 8 元，整笔订单另收 2 元手续费。总共多少钱？
写出中间步骤
3 × 8 = 24 元，加上 2 元手续费，共 26 元。
不写中间步骤
共 26 元。
看到简短答案还不足以判断模型怎样算出了它。需要看模型如何训练、内部进行了哪些计算，以及改变中间状态后答案如何变化。
五篇论文的阅读顺序
按首次公开时间排列：Implicit CoT 的提出、逐步内化、连续状态、自蒸馏，以及领域综述。
-
Implicit Chain of Thought Reasoning via Knowledge Distillation
首次提出隐式思维链（Implicit CoT）：让语言模型通过连续隐藏状态完成中间推理，而不把这些步骤写成文字。论文先定义这一推理方式，再用知识蒸馏给出一种实现。
-
From Explicit CoT to Implicit CoT: Learning to Internalize CoT Step by Step
提出逐步内化（Stepwise Internalization）来实现 Implicit CoT：从显式思维链模型开始，在微调中逐渐移除中间步骤，让模型学会在内部完成这些计算。
-
Training Large Language Models to Reason in a Continuous Latent Space
Coconut 将最后一个隐藏状态作为下一步输入，在连续空间中反复计算，完成后再生成文字答案。
-
CODI: Compressing Chain-of-Thought into Continuous Space via Self-Distillation
CODI 通过自蒸馏对齐显式思维链与连续推理的隐藏状态，用较少的连续步骤承载推理过程。
-
Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning
综述 Implicit CoT 与 latent CoT 的主要方法、表示方式和评测问题，并维护 Awesome-Latent-CoT 论文目录。
主要方法
每个链接都通向相应分类的英文介绍和论文列表。
这些分类会交叉：一个方法既能通过训练把文字步骤内化，也能在回答时反复更新连续状态。
读论文时看什么？
- 改了什么？区分训练方式的变化与回答时计算方式的变化。
- 成本是多少？一起比较准确率、输出长度、模型运行次数和实际速度。
- 证据说明什么？看新题目上的表现，以及改变内部状态的实验，检查模型用了哪些中间信息。
感谢 Awesome-Latent-CoT 及其综述为文献整理提供基础。